03.1.4
AIC dan BIC
Ringkasan
- AIC/BIC menggabungkan likelihood dan penalti kompleksitas untuk menilai kemampuan generalisasi.
- Hitung AIC/BIC pada model regresi dan amati responsnya saat fitur ditambah.
- Pahami kapan ukuran sampel dan keluarga model membuat salah satu kriteria lebih tepat.
1. Definisi #
Dengan log-likelihood \(\ell\), jumlah parameter \(k\), dan ukuran sampel \(n\):
$$ \mathrm{AIC} = -2\ell + 2k, \qquad \mathrm{BIC} = -2\ell + k \log n $$- AIC mendekati galat luar sampel; penalti tetap sebesar \(2k\).
- BIC menambah penalti dengan \(\log n\), sehingga semakin banyak data semakin condong ke model sederhana.
Nilai yang lebih kecil menunjukkan keseimbangan yang lebih baik antara akurasi dan kompleksitas.
2. Menghitung di Python #
scikit-learn tidak menyediakan AIC/BIC secara langsung; gunakan statsmodels.
| |
model.aic dan model.bic tersedia untuk OLS/GLM; pilih likelihood yang sesuai untuk model lain.
3. Intuisi #
- AIC menitikberatkan performa prediktif. Karena penalti konstan, model yang lebih kompleks bisa diterima ketika data banyak.
- BIC berasal dari pendekatan Bayesian yang mengasumsikan model sejati berada di antara kandidat; faktor \(\log n\) mendorong model sederhana saat
nbesar. - Bandingkan AIC/BIC hanya dalam dataset dan keluarga likelihood yang sama; jangan lintas dataset.
4. Penerapan praktis #
- Seleksi fitur: urutkan kandidat berdasarkan AIC/BIC dan buang fitur yang tidak meningkatkan kriteria.
- Model deret waktu: umum digunakan memilih orde
(p, d, q)ARIMA/SARIMAX dengan meminimalkan AIC/BIC. - GLM: bandingkan fungsi tautan atau asumsi distribusi sambil menjaga parsimoni.
- Pelaporan: sertakan AIC/BIC selain RMSE atau R² untuk menunjukkan kontrol kompleksitas.
5. Hal yang perlu diwaspadai #
- Asumsi likelihood: jika asumsi distribusi model meleset jauh, AIC/BIC bisa menyesatkan.
- Data sangat besar: untuk
nbesar, BIC mungkin menghukum kompleksitas secara berlebihan; pilih kriteria sesuai tujuan. - Ruang perbandingan: hanya bandingkan model dengan variabel target, likelihood, dan dataset yang sama.
Ringkasan #
- AIC dan BIC menyeimbangkan kecocokan dan kesederhanaan dengan penalti berbeda.
- Ingat: AIC condong ke akurasi prediksi; BIC menekankan kesederhanaan.
- Gunakan bersamaan dengan RMSE atau R² teradjust agar keputusan pemodelan lebih meyakinkan.