Bulan 12: Capstone Project

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

# Load data hasil EDA minggu lalu
df = pd.read_csv("data/clean_capstone.csv")

# Fungsi bantu: cek asumsi normalitas untuk variabel numerik
def cek_normalitas(series, nama_kolom):
    stat, p_value = stats.shapiro(series.dropna().sample(min(50, len(series)), random_state=42))
    print(f"{nama_kolom}: W={stat:.4f}, p={p_value:.4f} --> {'Normal' if p_value > 0.05 else 'Tidak Normal'}")

cols_numerik = df.select_dtypes(include=[np.number]).columns
for col in cols_numerik:
    cek_normalitas(df[col], col)

# Matriks korelasi untuk RQ yang melibatkan hubungan antar variabel
plt.figure(figsize=(10, 8))
corr_matrix = df[cols_numerik].corr()
sns.heatmap(corr_matrix, annot=True, fmt=".2f", cmap="coolwarm", center=0,
            linewidths=0.5, square=True)
plt.title("Matriks Korelasi - Variabel Numerik Capstone")
plt.tight_layout()
plt.savefig("output/heatmap_korelasi.png", dpi=150)
plt.show()
print("Korelasi tertinggi:")
print(corr_matrix.unstack().sort_values(ascending=False).drop_duplicates().head(10))

# Contoh: RQ1 - apakah ada perbedaan signifikan antar kelompok?
# Ganti 'kategori' dan 'nilai' sesuai kolom dataset Abbas

# Analisis deskriptif per kelompok
ringkasan_rq1 = df.groupby("kategori")["nilai"].agg(
    jumlah="count",
    rata_rata="mean",
    median="median",
    std_deviasi="std",
    min="min",
    max="max"
).round(2)
print("=== Ringkasan RQ1 ===")
print(ringkasan_rq1)

# Uji Kruskal-Wallis jika data tidak normal dan > 2 kelompok
kelompok = [group["nilai"].dropna().values for _, group in df.groupby("kategori")]
h_stat, p_val = stats.kruskal(*kelompok)
print(f"
Uji Kruskal-Wallis: H={h_stat:.4f}, p={p_val:.4f}")
if p_val < 0.05:
    print("Ada perbedaan signifikan antar kelompok (p < 0.05)")
else:
    print("Tidak ada perbedaan signifikan antar kelompok (p >= 0.05)")

# Visualisasi RQ1
fig, axes = plt.subplots(1, 2, figsize=(14, 5))
df.groupby("kategori")["nilai"].mean().plot(kind="bar", ax=axes[0], color="steelblue", edgecolor="white")
axes[0].set_title("Rata-rata Nilai per Kategori (RQ1)")
axes[0].set_xlabel("Kategori")
axes[0].set_ylabel("Rata-rata")
axes[0].tick_params(axis="x", rotation=45)

df.boxplot(column="nilai", by="kategori", ax=axes[1])
axes[1].set_title("Distribusi Nilai per Kategori (RQ1)")
axes[1].set_xlabel("Kategori")
axes[1].set_ylabel("Nilai")

plt.tight_layout()
plt.savefig("output/rq1_analisis.png", dpi=150)
plt.show()

from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression, LogisticRegression
from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score, classification_report, confusion_matrix
import warnings
warnings.filterwarnings("ignore")

# Persiapan fitur
features = ["fitur_1", "fitur_2", "fitur_3"]  # sesuaikan dengan dataset Abbas
target = "target_kolom"

X = df[features].dropna()
y = df.loc[X.index, target]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Scaling
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# Baseline model (pilih sesuai jenis target)
model_baseline = RandomForestRegressor(n_estimators=100, random_state=42)
model_baseline.fit(X_train_scaled, y_train)
y_pred = model_baseline.predict(X_test_scaled)

rmse = np.sqrt(mean_squared_error(y_test, y_pred))
r2 = r2_score(y_test, y_pred)
cv_scores = cross_val_score(model_baseline, X_train_scaled, y_train, cv=5, scoring="r2")

print("=== Evaluasi Model Baseline (Random Forest) ===")
print(f"RMSE  : {rmse:.4f}")
print(f"R2    : {r2:.4f}")
print(f"CV R2 : {cv_scores.mean():.4f} (+/- {cv_scores.std():.4f})")

# Feature importance
feat_imp = pd.Series(model_baseline.feature_importances_, index=features).sort_values(ascending=False)
plt.figure(figsize=(8, 4))
feat_imp.plot(kind="bar", color="teal")
plt.title("Feature Importance - Model RQ3")
plt.ylabel("Importance Score")
plt.tight_layout()
plt.savefig("output/rq3_feature_importance.png", dpi=150)
plt.show()

from sklearn.model_selection import RandomizedSearchCV
import joblib

# Definisi parameter grid untuk tuning
param_dist = {
    "n_estimators": [50, 100, 200, 300],
    "max_depth": [None, 5, 10, 20],
    "min_samples_split": [2, 5, 10],
    "min_samples_leaf": [1, 2, 4],
    "max_features": ["sqrt", "log2", None]
}

# RandomizedSearchCV lebih cepat dari GridSearch untuk banyak parameter
search = RandomizedSearchCV(
    RandomForestRegressor(random_state=42),
    param_distributions=param_dist,
    n_iter=20,
    cv=5,
    scoring="r2",
    random_state=42,
    n_jobs=-1,
    verbose=0
)
search.fit(X_train_scaled, y_train)

best_model = search.best_estimator_
y_pred_tuned = best_model.predict(X_test_scaled)

rmse_tuned = np.sqrt(mean_squared_error(y_test, y_pred_tuned))
r2_tuned = r2_score(y_test, y_pred_tuned)

print("=== Perbandingan Baseline vs Tuned ===")
print(f"{'Metrik':<12} {'Baseline':>12} {'Tuned':>12} {'Delta':>12}")
print("-" * 50)
print(f"{'RMSE':<12} {rmse:>12.4f} {rmse_tuned:>12.4f} {(rmse-rmse_tuned):>+12.4f}")
print(f"{'R2':<12} {r2:>12.4f} {r2_tuned:>12.4f} {(r2_tuned-r2):>+12.4f}")
print(f"
Parameter terbaik: {search.best_params_}")

# Simpan model
joblib.dump(best_model, "models/model_rq3_final.pkl")
joblib.dump(scaler, "models/scaler_rq3.pkl")
print("
Model disimpan ke models/")

# Template struktur notebook sintesis
# Gunakan markdown cells di Jupyter untuk narasi

# Cell 1: Judul dan konteks
"""
# Sintesis Analisis Capstone
**Dataset:** [nama dataset]
**Periode Data:** [periode]
**Tujuan Utama:** [satu kalimat tujuan]
**Tanggal Analisis:** 2026-06

## Executive Summary
[2-3 kalimat ringkasan seluruh proyek]
"""

# Cell 2: Ringkasan temuan per RQ
temuan = {
    "RQ1": {
        "pertanyaan": "[teks RQ1]",
        "metode": "[metode yang digunakan]",
        "temuan_utama": "[temuan dalam satu kalimat]",
        "signifikansi": "[apakah hasil signifikan secara statistik]"
    },
    "RQ2": {
        "pertanyaan": "[teks RQ2]",
        "metode": "[metode yang digunakan]",
        "temuan_utama": "[temuan dalam satu kalimat]",
        "signifikansi": "[apakah hasil signifikan secara statistik]"
    },
    "RQ3": {
        "pertanyaan": "[teks RQ3]",
        "metode": "[nama model terbaik]",
        "temuan_utama": f"Model R2={r2_tuned:.4f}, RMSE={rmse_tuned:.4f}",
        "signifikansi": "Model disimpan untuk prediksi"
    }
}

for rq, detail in temuan.items():
    print(f"
{'='*50}")
    print(f"  {rq}: {detail['pertanyaan']}")
    print(f"  Metode    : {detail['metode']}")
    print(f"  Temuan    : {detail['temuan_utama']}")
    print(f"  Status    : {detail['signifikansi']}")

# Rekomendasi aksi
rekomendasi = [
    "1. [Rekomendasi berdasarkan temuan RQ1] - prioritas: [Tinggi/Sedang/Rendah]",
    "2. [Rekomendasi berdasarkan temuan RQ2] - prioritas: [Tinggi/Sedang/Rendah]",
    "3. [Rekomendasi berdasarkan temuan RQ3] - prioritas: [Tinggi/Sedang/Rendah]"
]
print("
=== Rekomendasi Aksi ===")
for r in rekomendasi:
    print(r)

# Skrip audit otomatis: cek apakah semua file penting ada
import os

struktur_wajib = {
    "data/": ["raw/", "clean/"],
    "notebooks/": ["01_data_cleaning.ipynb", "02_eda.ipynb",
                   "03_synthesis.ipynb"],
    "output/": [],
    "models/": [],
    ".": ["README.md", "FINDINGS.md", "requirements.txt", ".gitignore"]
}

print("=== Audit Struktur Repository ===
")
semua_ok = True
for folder, isi in struktur_wajib.items():
    folder_ada = os.path.exists(folder)
    status_folder = "OK" if folder_ada else "HILANG"
    print(f"[{status_folder}] {folder}")
    if not folder_ada:
        semua_ok = False
    for item in isi:
        path = os.path.join(folder, item)
        ada = os.path.exists(path)
        print(f"  [{'OK' if ada else 'HILANG'}] {path}")
        if not ada:
            semua_ok = False

print(f"
{'Repository siap untuk demo!' if semua_ok else 'Ada file/folder yang perlu dibuat.'}")

# Cek requirements.txt
print("
=== Isi requirements.txt ===")
try:
    with open("requirements.txt") as f:
        print(f.read())
except FileNotFoundError:
    print("requirements.txt tidak ditemukan - buat dengan: pip freeze > requirements.txt")

# Ekspor semua visualisasi terbaik untuk slide

import matplotlib.pyplot as plt
import matplotlib.patches as mpatches

# Fungsi untuk membuat grafik ringkasan eksekutif
def buat_infographic_temuan(temuan_dict, output_path="output/slide_executive_summary.png"):
    fig, ax = plt.subplots(figsize=(14, 6))
    ax.set_xlim(0, 3)
    ax.set_ylim(0, 1)
    ax.axis("off")

    warna = ["#2563EB", "#16A34A", "#DC2626"]
    for i, (rq, detail) in enumerate(temuan_dict.items()):
        x = i + 0.5
        # Kotak latar
        rect = plt.Rectangle((i + 0.05, 0.05), 0.9, 0.9,
                               facecolor=warna[i], alpha=0.1,
                               edgecolor=warna[i], linewidth=2)
        ax.add_patch(rect)
        # Label RQ
        ax.text(x, 0.82, rq, ha="center", va="center",
                fontsize=14, fontweight="bold", color=warna[i])
        # Pertanyaan (dipotong)
        q_text = detail["pertanyaan"][:40] + "..." if len(detail["pertanyaan"]) > 40 else detail["pertanyaan"]
        ax.text(x, 0.65, q_text, ha="center", va="center",
                fontsize=9, color="#374151", wrap=True)
        # Temuan utama
        ax.text(x, 0.40, detail["temuan_utama"], ha="center", va="center",
                fontsize=10, color="#111827", fontweight="semibold")
        # Metode
        ax.text(x, 0.20, f"Metode: {detail['metode']}", ha="center", va="center",
                fontsize=8, color="#6B7280", style="italic")

    ax.set_title("Ringkasan Temuan Capstone", fontsize=16, fontweight="bold", pad=20)
    plt.tight_layout()
    plt.savefig(output_path, dpi=200, bbox_inches="tight")
    plt.show()
    print(f"Infographic disimpan ke {output_path}")

# Panggil dengan temuan yang sudah dibuat di minggu 3
# buat_infographic_temuan(temuan)
print("Jalankan buat_infographic_temuan(temuan) setelah mengisi dict temuan dengan data aktual Abbas")

# Template skrip opening presentasi capstone
# Salin dan adaptasi untuk dataset Abbas

skrip_opening = """
SLIDE 1 - OPENING (90 detik)

"Selamat pagi/siang. Hari ini saya akan berbagi hasil analisis selama 12 bulan belajar data analytics
yang saya rangkum dalam satu proyek capstone.

Proyek ini menjawab pertanyaan sederhana tapi penting: [isi dengan RQ utama Abbas].

Saya menganalisis [jumlah baris] data dari [sumber dataset], yang mencakup [periode waktu].
Dan yang saya temukan cukup mengejutkan: [isi dengan temuan paling menarik].

Dalam 10 menit ke depan, saya akan menunjukkan bagaimana saya sampai pada kesimpulan ini,
dan apa yang bisa dilakukan berdasarkan temuan ini."
"""

daftar_pertanyaan_q_and_a = [
    {
        "pertanyaan": "Mengapa memilih dataset ini?",
        "jawaban": "[Alasan spesifik Abbas: relevansi, ketersediaan, ukuran, dll]"
    },
    {
        "pertanyaan": "Apa limitasi terbesar analisis ini?",
        "jawaban": "[Jujur tentang: ukuran sampel, bias selection, periode data, dll]"
    },
    {
        "pertanyaan": "Bagaimana kualitas data yang digunakan?",
        "jawaban": "[Jelaskan: berapa % missing values, bagaimana dibersihkan, dll]"
    },
    {
        "pertanyaan": "Apa yang akan dilakukan jika ada lebih banyak waktu?",
        "jawaban": "[Deep learning, data tambahan, analisis segmentasi lebih dalam, dll]"
    },
    {
        "pertanyaan": "Bagaimana model ini bisa diterapkan di dunia nyata?",
        "jawaban": "[Jelaskan skenario penggunaan konkret dari model RQ3]"
    }
]

print(skrip_opening)
print("
=== Persiapan Q&A ===")
for i, qa in enumerate(daftar_pertanyaan_q_and_a, 1):
    print(f"
Q{i}: {qa['pertanyaan']}")
    print(f"A : {qa['jawaban']}")

# Checklist akhir sebelum Demo Day
checklist_demo = {
    "Repository": [
        "README.md lengkap dengan deskripsi, cara menjalankan, dan temuan utama",
        "FINDINGS.md berisi executive summary",
        "requirements.txt ada dan up-to-date",
        ".gitignore sudah dikonfigurasi",
        "Semua notebook bisa dijalankan tanpa error",
        "Output folder berisi semua grafik yang digunakan di slide"
    ],
    "Presentasi": [
        "Slide maksimal 10 halaman",
        "Setiap slide punya satu pesan utama",
        "Durasi presentasi 8-12 menit",
        "Q&A siap untuk 5 pertanyaan umum",
        "Demo notebook bisa dijalankan live jika diminta"
    ],
    "Teknis": [
        "Semua model tersimpan di folder models/",
        "Data clean tersimpan di data/clean/",
        "Tidak ada hardcoded path yang bermasalah",
        "Versi library tercatat di requirements.txt"
    ]
}

print("=== CHECKLIST DEMO DAY ===
")
total = 0
for kategori, items in checklist_demo.items():
    print(f"
[{kategori}]")
    for item in items:
        print(f"  [ ] {item}")
        total += 1

print(f"
Total: {total} item harus selesai sebelum presentasi")
print("
Selamat! Abbas sudah menyelesaikan 12 bulan perjalanan data analytics.")
print("Demo Day bukan akhir - ini adalah awal dari karir sebagai data analyst.")

# Template RETROSPECTIVE.md - Penutup Resmi Capstone

retrospektif = """
# Retrospektif - Capstone Project & 12 Bulan Belajar Data Analytics

**Nama:** [Nama Abbas]
**Periode Belajar:** [bulan mulai] - Juni 2026
**Dataset Capstone:** [nama dataset]

---

## 3 Hal Terbaik

1. **[Hal terbaik pertama]**
   [Penjelasan singkat mengapa ini jadi pencapaian yang berarti]

2. **[Hal terbaik kedua]**
   [Penjelasan singkat]

3. **[Hal terbaik ketiga]**
   [Penjelasan singkat]

---

## 3 Hal yang Ingin Diperbaiki

1. **[Area yang kurang]**
   [Apa yang akan dilakukan berbeda jika mengulang dari awal]

2. **[Area yang kurang]**
   [Rencana perbaikan]

3. **[Area yang kurang]**
   [Rencana perbaikan]

---

## 3 Pelajaran Terpenting

1. [Pelajaran teknis atau non-teknis yang paling berdampak]
2. [Pelajaran tentang proses atau metodologi]
3. [Pelajaran tentang cara belajar itu sendiri]

---

## Rencana Selanjutnya

- **Bulan 1-2:** [topik/project pertama yang ingin dikerjakan]
- **Bulan 3-4:** [topik/project kedua]
- **Bulan 5-6:** [topik/project ketiga]
- **Target karir:** [posisi atau project impian yang ingin dicapai]

---

*Capstone ini adalah bukti bahwa konsistensi selama 12 bulan menghasilkan skill nyata
yang bisa didemonstrasikan, bukan sekadar sertifikat.*
"""

# Simpan ke file
with open("RETROSPECTIVE.md", "w") as f:
    f.write(retrospektif)

print("RETROSPECTIVE.md berhasil dibuat.")
print("
Selamat menyelesaikan 12 bulan perjalanan belajar Data Analytics!")
print("Repository capstone Abbas adalah portofolio nyata - jaga dan terus kembangkan.")