評価指標

直感 #

モデルの良し悪しは「何を基準に測るか」で結論が変わります。MAE で最良のモデルが RMSE では劣後することもあれば、Accuracy が 99 % でも Recall が 0 のこともあります。たとえば陽性が 1 % のデータで全件を陰性と予測すると Accuracy は 0.99 ですが、recall_score は 0.0 で、肝心の陽性を 1 件も見つけていません。指標を正しく選べなければ、モデル改善の方向を見誤ります。このセクションでは、タスクごとの代表指標を混同行列・閾値・確率校正・不均衡補正の視点で整理し、ビジネス目的と指標を結びつけるための判断軸を身に付けます。

詳細な解説 #

このセクションで学べること #

• モデル選択 — 交差検証・検証曲線・学習曲線・AIC/BIC による汎化性能の推定と比較
• 回帰指標 — MAE/RMSE/MAPE/R² など 14 指標の特性、外れ値耐性、スケール依存性の違い
• 分類指標 — 混同行列から Precision/Recall/F1・ROC-AUC・Log Loss・Brier Score まで、15 指標の体系
• 距離指標 — コサイン類似度・KL ダイバージェンス・ワッサースタイン距離による分布の比較
• ランキング指標 — NDCG・MAP・Recall@k・Hit Rate による推薦・検索の評価
• 言語モデル指標 — BLEU・ROUGE などの n-gram ベースから、埋め込みベース・LLM による評価まで

これがわかるとできること #

• タスクと要件に応じて指標セットを選び、「陽性 1 % のデータでなぜ F1 ではなく PR-AUC か」を根拠を持って説明できる
• Accuracy と Balanced Accuracy、MAE と RMSE のように複数指標を併用してモデルの強みと弱みを多角的に評価できる
• cross_val_score や classification_report を使った評価パイプラインを構築し、モデル監視や A/B テストに組み込める

学習の進め方 #

まず モデル選択 で交差検証の基本と汎化性能の推定方法を押さえます。次に回帰・分類の指標で、MAE と RMSE、Accuracy と F1 の使い分けを理解してください。そのうえで距離・ランキング・言語モデルの指標に進み、NDCG や KL ダイバージェンス、BLEU のような特殊なタスクの評価手法を学びます。各ページには scikit-learn のコード例と対話図があるので、閾値やクラス比を自分で動かして指標の挙動を確かめながら進むのが近道です。

指標クイックリファレンス #

分類指標の比較 #

回帰指標の比較 #

ランキング・距離指標の比較 #