ランキング評価

まとめ

NDCG・MAP・Recall@k・Hit Rateの4指標の特性と計算方法を学ぶ。
「並び順の質」を測る指標と「正解の網羅率」を測る指標の違いを理解する。
推薦・検索・広告配信など、タスクに応じたランキング指標の選び方を身に付ける。

直感 #

ランキングモデルでは「上位に有益なアイテムを並べられているか」が評価の核心となる。推薦システムや検索では、上位数件の品質がユーザー体験と業績を直接左右する。単純なAccuracyでは順位の重みが反映されず、Top-3に正解があるかどうかとTop-100に正解があるかどうかを区別できない。このチャプターでは4つの代表的なランキング指標を学び、評価対象と正解の定義に応じた指標の選び方を身に付ける。

詳細な解説 #

このチャプターで学べること #

NDCGの定義とDCG/IDCGの計算、上位アイテムに対数減衰で重みを付ける仕組み
MAP（平均平均適合率）の計算方法と、複数の正解があるランキングでの有効性
Recall@kで上位k件中の正解カバレッジを測る方法とkの設定指針
Hit Rate（Hit@k）で少なくとも1件の正解が含まれるかを評価する手法

これがわかるとできること #

実サービスの表示件数に合わせてkを設定し、適切な指標で評価できる
「並び順の質」と「正解の網羅率」の両面からランキングを診断できる
オフライン指標とオンラインKPI（クリック率・コンバージョン率）の対応関係を設計できる

学習の進め方 #

まずNDCGで順位に重みを付けた評価の基本概念を押さえる
次にMAPで複数正解を持つランキングの評価方法を学ぶ
Recall@kとHit Rateで、Top-k評価の実践的な使い方を確認する