4.5
ランキング評価
まとめ
- NDCG・MAP・Recall@k・Hit Rateの4指標の特性と計算方法を学ぶ。
- 「並び順の質」を測る指標と「正解の網羅率」を測る指標の違いを理解する。
- 推薦・検索・広告配信など、タスクに応じたランキング指標の選び方を身に付ける。
直感 #
ランキングモデルでは「上位に有益なアイテムを並べられているか」が評価の核心となる。推薦システムや検索では、上位数件の品質がユーザー体験と業績を直接左右する。単純なAccuracyでは順位の重みが反映されず、Top-3に正解があるかどうかとTop-100に正解があるかどうかを区別できない。このチャプターでは4つの代表的なランキング指標を学び、評価対象と正解の定義に応じた指標の選び方を身に付ける。
詳細な解説 #
このチャプターで学べること #
- NDCGの定義とDCG/IDCGの計算、上位アイテムに対数減衰で重みを付ける仕組み
- MAP（平均平均適合率）の計算方法と、複数の正解があるランキングでの有効性
- Recall@kで上位k件中の正解カバレッジを測る方法とkの設定指針
- Hit Rate（Hit@k）で少なくとも1件の正解が含まれるかを評価する手法
これがわかるとできること #
- 実サービスの表示件数に合わせてkを設定し、適切な指標で評価できる
- 「並び順の質」と「正解の網羅率」の両面からランキングを診断できる
- オフライン指標とオンラインKPI（クリック率・コンバージョン率）の対応関係を設計できる
指標間の関係マップ #
graph LR
POS["順位重み付き"] --> NDCG["NDCG"]
POS --> MAP["MAP"]
COV["網羅率"] --> RK["Recall@k"]
COV --> HR["Hit Rate"]
指標クイックリファレンス #
| 指標 | 順位重み | 多段階関連度 | 主な用途 |
|---|---|---|---|
| NDCG | ✓ | ✓ | 検索・推薦の総合評価 |
| MAP | ✓ | 複数正解のランキング評価 | |
| Recall@k | 上位k件の網羅率 | ||
| Hit Rate | 正解を1件含むかの判定 |
学習の進め方 #
- まずNDCGで順位に重みを付けた評価の基本概念を押さえる
- 次にMAPで複数正解を持つランキングの評価方法を学ぶ
- Recall@kとHit Rateで、Top-k評価の実践的な使い方を確認する
まとめ #
このチャプターでは、順位重み付き指標（NDCG/MAP）と網羅率指標（Recall@k/Hit Rate）の4つのランキング評価指標を学んだ。 「並び順の質」と「正解の網羅率」の両面からランキングを診断し、推薦・検索・広告配信などの実サービスに合わせた評価設計ができるようになることがゴールである。