K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

MAP(Mean Average Precision)

中級

03.5.2

MAP(Mean Average Precision)

最終更新 2020-02-12 読了時間 4 分
まとめ
MAP(Mean Average Precision)は、1 つのクエリについて「正解アイテムが現れた順位ごとに、その時点までの Precision を計算して平均した」Average Precision(AP)を、全クエリで平均した指標です。正解が 1 位・4 位・7 位にあるリストでは AP = (1/1 + 2/4 + 3/7)/3 ≈ 0.6429 で、同じ 3 件の正解が 1〜3 位に並べば 1.0、8〜10 位に沈めば 0.1528 まで下がります。正解が複数あるランキングで「どれだけ上に集められたか」を 1 つの数にでき、scikit-learn の average_precision_score をクエリごとに呼んで np.mean を取るだけで計算できます。

直感:正解を見つけるたびに「ここまでの的中率」を記録する #

検索結果を上から順に見ていき、正解に出会うたびに「ここまで何件見て、そのうち何件が正解だったか」をメモします。1 位なら 1/1、4 位なら 2/4、7 位なら 3/7 です。このメモの平均が AP で、正解が上に集まっていればメモの値はどれも 1 に近く、下に散っていれば小さくなります。クエリが 100 個あれば AP も 100 個できるので、その平均が MAP です。

AP と MAP の定義 #

1 クエリに対する Average Precision(AP)は、正解アイテムを見つけたタイミングごとの適合率を平均します。

$$ \mathrm{AP} = \frac{1}{|G|} \sum_{k \in G} P(k) $$

ここで $G$ は正解アイテムのランク位置の集合、$P(k)$ は位置 $k$ までの適合率です。正解が 3 件なら $|G| = 3$ で、3 つの $P(k)$ を平均します。MAP は複数クエリの AP をさらに平均します。

$$ \mathrm{MAP} = \frac{1}{Q} \sum_{q=1}^{Q} \mathrm{AP}_q $$

ステップごとの計算例 #

問題設定 #

検索エンジンがあるクエリに対して 10 件 の結果を返し、このうち 正解(関連あり) は 3 件で、ランキング上の位置は 1 位・4 位・7 位 です。

順位アイテム関連性
1A関連あり
2B関連なし
3C関連なし
4D関連あり
5E関連なし
6F関連なし
7G関連あり
8H関連なし
9I関連なし
10J関連なし

各正解位置での Precision の計算 #

AP の計算では、正解アイテムが出現した位置でのみ Precision を計算します。

位置 1(アイテム A) #

位置 1 までに正解が 1 件、全体が 1 件なので

$$ P(1) = \frac{\text{位置1までの正解数}}{\text{位置1までのアイテム数}} = \frac{1}{1} = 1.0 $$

位置 4(アイテム D) #

位置 4 までに正解が 2 件(A, D)、全体が 4 件なので

$$ P(4) = \frac{2}{4} = 0.5 $$

位置 7(アイテム G) #

位置 7 までに正解が 3 件(A, D, G)、全体が 7 件なので

$$ P(7) = \frac{3}{7} \approx 0.4286 $$

AP(Average Precision)の算出 #

正解数 $|G| = 3$ で平均します。

$$ \mathrm{AP} = \frac{1}{|G|} \sum_{k \in G} P(k) = \frac{P(1) + P(4) + P(7)}{3} = \frac{1.0 + 0.5 + 0.4286}{3} = \frac{1.9286}{3} \approx 0.6429 $$

順位が重要な理由:もし正解 3 件が位置 1・2・3 に並んでいれば $\mathrm{AP} = (1/1 + 2/2 + 3/3)/3 = 1.0$ になります。逆に位置 8・9・10 に追いやられると $\mathrm{AP} = (1/8 + 2/9 + 3/10)/3 \approx 0.1528$ まで下がります。AP は「上位に正解があるほど高い」という直感に合致する指標です。

MAP@k(カットオフ付きバリアント) #

実務では上位 $k$ 件だけを対象に AP を計算する MAP@k がよく使われます。ランキングを位置 $k$ で打ち切り、それ以降に現れる正解は無視します。

$$ \mathrm{AP@}k = \frac{1}{\min(|G|,\, k)} \sum_{\substack{i \in G \\ i \le k}} P(i) $$

先ほどの例で $k = 5$ とすると、位置 7 の正解は打ち切られ、位置 1 と 4 の正解のみが対象になります。

$$ \mathrm{AP@5} = \frac{P(1) + P(4)}{\min(3,\, 5)} = \frac{1.0 + 0.5}{3} = \frac{1.5}{3} = 0.5 $$

分母は「正解の総数と $k$ の小さい方」です。正解 3 件のうち 2 件しか上位 5 件に入っていないため、AP@5 は AP 全体(0.6429)より低くなります。推薦システムでは MAP@5 や MAP@10 など、ユーザーが実際に閲覧する範囲に限定した評価がよく行われます。

複数クエリでの MAP の計算 #

MAP は複数クエリの AP を単純平均した指標です。3 つのクエリを例に計算します。

正解数正解位置AP
クエリ 131, 4, 70.6429
クエリ 221, 21.0
クエリ 323, 100.2667

クエリ 2 の AP #

正解が位置 1 と 2 にあるため

$$ P(1) = \frac{1}{1} = 1.0, \quad P(2) = \frac{2}{2} = 1.0 $$$$ \mathrm{AP}_2 = \frac{1.0 + 1.0}{2} = 1.0 $$

クエリ 3 の AP #

正解が位置 3 と 10 にあるため

$$ P(3) = \frac{1}{3} \approx 0.3333, \quad P(10) = \frac{2}{10} = 0.2 $$$$ \mathrm{AP}_3 = \frac{0.3333 + 0.2}{2} = \frac{0.5333}{2} \approx 0.2667 $$

MAP の算出 #

$$ \mathrm{MAP} = \frac{1}{Q} \sum_{q=1}^{Q} \mathrm{AP}_q = \frac{0.6429 + 1.0 + 0.2667}{3} = \frac{1.9096}{3} \approx 0.6365 $$

この例では、クエリ 2 は上位に正解が集中しているため AP が 1.0 と高く、クエリ 3 は正解の順位が 3 位と 10 位で低いため AP が 0.2667 に留まっています。MAP はこれらを平均することで、システム全体のランキング品質を 1 つのスカラー値で要約します。


Python で計算 #

scikit-learn には MAP の直接の実装はありませんが、average_precision_score がクエリ 1 つ分の AP を返すので、クエリごとに計算して平均すれば MAP になります。y_true[q] は該当クエリの 0/1 ラベル、y_score[q] はモデルのスコアです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
from sklearn.metrics import average_precision_score
import numpy as np

aps = []

for q in queries:
    aps.append(average_precision_score(y_true[q], y_score[q]))

map_score = np.mean(aps)
print("MAP:", round(map_score, 4))

特徴と使いどころ #

MAP は、1 クエリに正解が複数あるランキングで真価を発揮します。正解を上位で見つけるほど $P(k)$ が高くなるので順位の良さが反映され、分母に正解総数 $|G|$ を置くことで Recall の側面(取りこぼしの多さ)も含まれるため、Precision@k 単独より包括的です。検索システムでは「ユーザーが求める複数の結果を上位に提示できたか」、推薦システムでは購買履歴や視聴履歴のように正解が複数ある場面の KPI として、ランキング学習(LTR)では LambdaMART や XGBoost のランキングモデルをオフラインで比べる指標として使われます。

落とし穴 #

クエリごとの正解アイテム数が 2 件と 200 件のように極端に異なると、どのクエリも等しく 1/Q の重みで平均されるため、MAP が少数正解のクエリに引っぱられることがあります。その場合は正解数で重み付けする Weighted MAP を検討します。正解なし(ラベルが 0 のみ)のクエリは AP が定義できないので、除外するか 0 として扱うかを事前に決めて明記します。順位の質は NDCG、網羅性は Recall@k と役割が分かれるので、MAP だけでなく併用してランキングを多面的に評価します。


まとめ #

MAP は、正解が現れた順位ごとの Precision を平均した AP をクエリ間で平均した指標で、正解が複数あるランキングの「上位への集まり方」を 1 つの数にします。1・4・7 位の例で AP = 0.6429、1〜3 位なら 1.0、8〜10 位なら 0.1528 と、同じ正解数でも順位で大きく変わるのが特徴です。実装は average_precision_score をクエリごとに呼んで np.mean を取るだけです。上位 k 件に限る MAP@k は分母を $\min(|G|, k)$ に変えます。正解数の偏りや正解なしクエリの扱いを決めたうえで、NDCG や Recall@k と並べて読むと、ランキングモデルの改善点が見えてきます。