分類

まとめ

混同行列系・閾値調整系・確率校正系・不均衡補正系の指標群を体系的に学ぶ。
二値分類・多クラス・マルチラベルの違いに応じた指標の選び方と平均化戦略を理解する。
ビジネス要件（偽陽性と偽陰性のコスト差・予測確率の利用・上位候補の品質）に応じた指標セットの組み立て方を身に付ける。

直感 #

分類タスクの評価は「正解率が高ければよい」では済まない。ラベル不均衡のデータでAccuracyが99%でも、肝心の少数クラスをまったく検出できていないことがある。閾値の設定1つで適合率と再現率が大きく変わり、予測確率の校正が不十分だと意思決定を誤る。このチャプターでは15の分類指標を4つの視点から整理し、タスクとビジネス要件に応じた指標の選び方を身に付ける。

詳細な解説 #

このチャプターで学べること #

Accuracy・Balanced Accuracyの違いとラベル不均衡での注意点
混同行列の読み方と、Precision/Recall/F1/感度/特異度の使い分け
ROC曲線・PR曲線の描画方法と、AUCによるモデル比較
Log Loss・Brier Scoreによる予測確率の校正評価
Cohen’s Kappa・MCCによるクラス不均衡に頑健な評価
Macro/Micro/Weighted平均化戦略と、マルチラベル分類での適用
ハミング損失・Top-k Accuracy・Average Precisionなどの補助指標

これがわかるとできること #

クラス不均衡や閾値設定を考慮した適切な指標セットを選択できる
混同行列から誤分類の傾向を読み取り、改善の方向性を判断できる
予測確率を意思決定に使う場面で、校正の信頼性を評価できる

指標間の関係マップ #

graph LR CM["混同行列"] --> Acc["Accuracy"] CM --> BA["Balanced Accuracy"] CM --> PR["Precision / Recall"] CM --> SS["感度 / 特異度"] CM --> CK["Cohen's Kappa"] CM --> MCC["MCC"] PR --> F1["F1-Score"] PR --> AP["Average Precision"] PR --> AVG["平均化戦略"] SS --> ROC["ROC-AUC"] Acc --> HL["Hamming Loss"] Acc --> TK["Top-k Accuracy"] LL["Log Loss"] --> BS["Brier Score"] LL --> FL["Focal Loss"]

指標クイックリファレンス #

指標	不均衡対応	確率必要	主な用途
Accuracy			ベースライン精度
Balanced Accuracy	✓		不均衡データの精度
混同行列			誤分類パターンの把握
Precision / Recall			偽陽性・偽陰性の制御
F1-Score			適合率と再現率の調和
感度 / 特異度			医学・診断タスク
ROC-AUC	✓	✓	閾値非依存のモデル比較
Average Precision	✓	✓	不均衡＋ランキング評価
Log Loss		✓	予測確率の信頼性
Brier Score		✓	確率校正の評価
Cohen’s Kappa	✓		偶然一致を除いた評価
MCC	✓		不均衡に頑健な総合指標
Hamming Loss			マルチラベル分類
Top-k Accuracy		✓	上位k候補の評価
平均化戦略			多クラスの集約方法
Focal Loss	✓	✓	不均衡データの損失関数

学習の進め方 #

まずAccuracyと混同行列で分類評価の基本を押さえる
次にPrecision/Recall/F1で、偽陽性と偽陰性のトレードオフを理解する
ROC-AUC・PR-AUCで、閾値に依存しないモデル比較の手法を学ぶ
最後にLog Loss・Brier Score・MCC・Cohen’s Kappaで、確率校正と不均衡対策の指標を確認する

まとめ #

このチャプターでは、混同行列系・閾値調整系・確率校正系・不均衡補正系の16指標を4つの視点から体系的に学んだ。クラス不均衡・閾値設定・予測確率の校正を考慮し、タスクとビジネス要件に応じた指標セットを組み立てて正しく評価できるようになることがゴールである。