分類

まとめ

この章では分類モデルの評価指標 16 種類を、混同行列から直接数える系（Accuracy、Precision/Recall、F1、MCC）、閾値を動かして曲線にする系（ROC-AUC、Average Precision）、予測確率そのものを採点する系（Log Loss、Brier Score）、クラス不均衡を補正する系（Balanced Accuracy、Cohen’s Kappa、Focal Loss）の 4 つの視点で整理します。二値分類・多クラス・マルチラベルの違いに応じて、average="macro" や "weighted" といった平均化戦略をどう選ぶかも扱います。偽陽性と偽陰性のコスト差、予測確率を使うかどうか、上位候補の品質といった要件から指標セットを組み立てられるようになることがゴールです。

直感 #

分類タスクの評価は「正解率が高ければよい」では済みません。陽性が 1 % のデータで Accuracy が 99 % でも、肝心の少数クラスをまったく検出できていないことがあります。閾値を 0.5 から 0.3 に変えるだけで Precision と Recall は大きく入れ替わり、predict_proba の校正が不十分だと「確率 0.9」を信じた意思決定を誤ります。このチャプターでは 16 の分類指標を 4 つの視点から整理します。

詳細な解説 #

このチャプターで学べること #

Accuracy と Balanced Accuracy の違いと、ラベル不均衡で Accuracy が 99 % になる仕組み
混同行列の 4 マス（TP・FP・FN・TN）の読み方と、Precision/Recall/F1/感度/特異度の使い分け
ROC 曲線・PR 曲線の描き方と AUC によるモデル比較
Log Loss・Brier Score による予測確率の校正評価
Cohen’s Kappa・MCC による、偶然の一致を除いたクラス不均衡に頑健な評価
average="macro" / "micro" / "weighted" の平均化戦略と、マルチラベル分類への適用
Hamming Loss・Top-k Accuracy・Average Precision・Focal Loss などの補助指標

これがわかるとできること #

クラス不均衡や閾値設定を考慮して、F1 と ROC-AUC のように適切な指標セットを選択できる
confusion_matrix の出力から FP と FN のどちらが多いかを読み取り、閾値を 0.5 から動かすか損失関数を変えるかを判断できる
predict_proba を意思決定に使う場面で、Log Loss や Brier Score から校正の信頼性を評価できる

指標間の関係マップ #

graph LR CM["混同行列"] --> Acc["Accuracy"] CM --> BA["Balanced Accuracy"] CM --> PR["Precision / Recall"] CM --> SS["感度 / 特異度"] CM --> CK["Cohen's Kappa"] CM --> MCC["MCC"] PR --> F1["F1-Score"] PR --> AP["Average Precision"] PR --> AVG["平均化戦略"] SS --> ROC["ROC-AUC"] Acc --> HL["Hamming Loss"] Acc --> TK["Top-k Accuracy"] LL["Log Loss"] --> BS["Brier Score"] LL --> FL["Focal Loss"]

指標クイックリファレンス #

指標	不均衡対応	確率必要	主な用途
Accuracy			ベースライン精度
Balanced Accuracy	✓		不均衡データの精度
混同行列			誤分類パターンの把握
Precision / Recall			偽陽性・偽陰性の制御
F1-Score			適合率と再現率の調和
感度 / 特異度			医学・診断タスク
ROC-AUC	✓	✓	閾値非依存のモデル比較
Average Precision	✓	✓	不均衡＋ランキング評価
Log Loss		✓	予測確率の信頼性
Brier Score		✓	確率校正の評価
Cohen’s Kappa	✓		偶然一致を除いた評価
MCC	✓		不均衡に頑健な総合指標
Hamming Loss			マルチラベル分類
Top-k Accuracy		✓	上位k候補の評価
平均化戦略			多クラスの集約方法
Focal Loss	✓	✓	不均衡データの損失関数

学習の進め方 #

まず Accuracy と混同行列で、4 マスの数え方という分類評価の基本を押さえます。次に Precision / Recall と F1-Score へ進み、閾値を 0.5 から動かすと偽陽性と偽陰性が入れ替わるトレードオフを理解してください。そのうえで ROC-AUC と Average Precision に進み、閾値に依存しないモデル比較の手法を学びます。最後に Log Loss・Brier Score・MCC・Cohen’s Kappa で、確率校正と不均衡対策の指標を確認します。

まとめ #

このチャプターでは、混同行列系・閾値調整系・確率校正系・不均衡補正系の 16 指標を 4 つの視点から整理しました。Accuracy 99 % の裏にある Recall 0 を混同行列で見抜き、閾値を動かしたときの Precision と Recall の入れ替わりを ROC 曲線や PR 曲線で追えるようになることが第一段階です。そのうえで predict_proba の校正を Log Loss や Brier Score で確かめ、タスクとビジネス要件に応じた指標セットを組み立てて正しく評価できるようになることがゴールです。