Strategi averaging

Diperbarui 2020-07-29 Baca 2 menit

Ringkasan

Memilih strategi averaging untuk metrik klasifikasiの概要を押さえ、評価対象と読み取り方を整理します。
Python 3.13 のコード例で算出・可視化し、手順と実務での確認ポイントを確認します。
図表や補助指標を組み合わせ、モデル比較や閾値調整に活かすヒントをまとめます。

1. Pilihan averaging utama #

average	Cara perhitungan	Kapan digunakan
`micro`	Menjumlahkan TP/FP/FN seluruh sampel lalu menghitung metrik	Menekankan akurasi total tanpa memedulikan distribusi kelas
`macro`	Menghitung metrik per kelas lalu mengambil rata-rata sederhana	Memberi bobot sama untuk setiap kelas; menyorot kelas minoritas
`weighted`	Menghitung metrik per kelas lalu merata-ratakan dengan bobot jumlah sampel	Mempertahankan proporsi kelas asli; perilakunya mirip Accuracy
`samples`	Khusus multi-label. Merata-ratakan metrik per sampel	Untuk kasus ketika satu sampel memiliki banyak label

2. Perbandingan di Python 3.13 #

1
2
python --version  # contoh: Python 3.13.0
pip install scikit-learn matplotlib

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, f1_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = make_classification(
    n_samples=30_000,
    n_features=20,
    n_informative=6,
    weights=[0.85, 0.1, 0.05],  # Distribusi kelas tidak seimbang
    random_state=42,
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=42
)

model = make_pipeline(
    StandardScaler(),
    LogisticRegression(max_iter=2000, multi_class="ovr"),
)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

print(classification_report(y_test, y_pred, digits=3))
for avg in ["micro", "macro", "weighted"]:
    print(f"F1 ({avg}):", f1_score(y_test, y_pred, average=avg))

classification_report menampilkan metrik per kelas sekaligus macro avg, weighted avg, dan micro avg, sehingga kita dapat membandingkan strategi averaging dengan cepat.

3. Cara memilih strategi #

micro – Gunakan bila Anda mengutamakan performa keseluruhan dan setiap prediksi dianggap sama penting.
macro – Cocok saat kelas minoritas sangat penting; sensitif terhadap recall yang rendah pada label langka.
weighted – Berguna jika ingin mempertahankan proporsi kelas nyata sekaligus melaporkan Precision/Recall/F1.
samples – Pilihan standar untuk tugas multi-label di mana satu sampel dapat memiliki beberapa label ground truth.

Catatan akhir #

Parameter average dapat mengubah interpretasi metrik secara drastis; sesuaikan dengan kebutuhan bisnis dan sifat data.
Ingat: macro memandang kelas secara adil, micro fokus pada rasio global, weighted mempertahankan distribusi, dan samples dirancang untuk multi-label.
Manfaatkan kemampuan scikit-learn untuk menghitung beberapa average sekaligus agar tidak salah menilai kualitas model.