Precision と Recall の違いは？

Precision は『陽性と予測した中で実際に陽性だった割合』、Recall は『実際の陽性のうち陽性と予測できた割合』です。Precision は誤検知の少なさ、Recall は見逃しの少なさを表します。

Precision と Recall はどちらを優先すべき？

ドメインによります。スパム検出では誤検知を避けたいので Precision、医療診断では見逃しを避けたいので Recall を重視します。両者のバランスは F1 スコアや F-beta スコアで表します。

閾値を変えると Precision・Recall はどう動く？

閾値を上げると Precision は上がり Recall は下がる、下げるとその逆になります。Precision-Recall 曲線で全範囲を見て、ビジネス制約を満たす閾値を選ぶのが定番です。

Precision-Recall

入門

03.3.3

Precision-Recall

最終更新 2020-02-12 読了時間 4 分

まとめ

適合率（Precision）は「陽性と予測したうち本当に陽性だった割合」で誤報の少なさを、再現率（Recall）は「本当に陽性のうち見つけられた割合」で見逃しの少なさを測ります。分子はどちらも TP で、分母が「予測した陽性の数」か「実際の陽性の数」かだけが違います。確率の閾値を 0.5 から 0.3 に下げると陽性判定が増えて Recall が上がり Precision が下がる、というトレードオフを全閾値で描いたものが PR 曲線で、その下の面積が平均適合率（AP）です。読み終えると、precision_recall_curve で曲線を描き、見逃しと誤報のどちらが痛い課題かに応じて閾値を選べるようになります。

混同行列の TP・FP・FN・TN の 4 マスを先に押さえておくと、Precision と Recall が「同じ TP をどの分母で割るか」の違いだとすぐ読めます。

直感：誤報と見逃しを別々に数える #

迷惑メールフィルタが 100 通を「迷惑」と判定し、そのうち 90 通が本当に迷惑メールだったとします。Precision は 90/100 = 0.90 で、「迷惑と言ったうちの正解率」です。一方、受信箱全体には迷惑メールが 120 通あったのに 90 通しか捕まえられなかったなら、Recall は 90/120 = 0.75 で、「本物のうち捕まえた割合」です。フィルタの感度を上げて 150 通を迷惑と判定すれば、捕まえる本物は 110 通に増えて Recall は 0.92 に上がりますが、巻き込まれた正常メールも 40 通に増え、Precision は 110/150 = 0.73 に下がります。この「片方を上げると片方が下がる」関係を閾値ごとに全部描いたものが PR 曲線です。

式で書くと何を割っているか #

混同行列の記号を $TP$（真陽性）、$FP$（偽陽性）、$FN$（偽陰性）、$TN$（真陰性）とすると、

$$ \text{Precision} = \frac{TP}{TP + FP}, \qquad \text{Recall} = \frac{TP}{TP + FN} $$

適合率の分母 $TP + FP$ は「陽性と判定した数」です。誤報 FP を抑えたいときに重視します。再現率の分母 $TP + FN$ は「実際の陽性の数」で、見逃し FN が問題になるときに重視します。F1 スコアは 2 つの調和平均で、どちらか一方が 0.1 のように低いと F1 も低く出るため、双方を同程度に重視したいときの 1 本のまとめ指標になります。

$$ F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}} $$

何が起きているか（ステップで見る） #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント：閾値を動かすと TP・FP・FN が同時に変わる。どれを重視するかで最適な閾値は変わる。閾値を下げるほど FN が減って Recall が上がり、FP が増えて Precision が下がる。

Python で PR 曲線を描く #

環境を確認し、必要なパッケージを導入します。

1
2
python --version        # 例: Python 3.13.0
pip install scikit-learn matplotlib

次のコードでは少数クラスが 5% のデータセット 40,000 件を生成し、class_weight="balanced" 付きロジスティック回帰で確率を出して、PR 曲線と平均適合率（AP）を描画します。図は static/images/eval/classification/precision-recall/pr_curve.png に保存され、generate_eval_assets.py から再生成できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
import matplotlib.pyplot as plt
import numpy as np
from pathlib import Path
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    ConfusionMatrixDisplay,
    classification_report,
    precision_recall_curve,
    precision_score,
    recall_score,
    f1_score,
    average_precision_score,
)
from sklearn.model_selection import train_test_split
X, y = make_classification(
    n_samples=40_000,
    n_features=20,
    n_informative=6,
    weights=[0.95, 0.05],
    random_state=42,
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=42
)
clf = LogisticRegression(max_iter=2000, class_weight="balanced")
clf.fit(X_train, y_train)
proba = clf.predict_proba(X_test)[:, 1]
y_pred = (proba >= 0.5).astype(int)
print(classification_report(y_test, y_pred, digits=3))
precision, recall, thresholds = precision_recall_curve(y_test, proba)
ap = average_precision_score(y_test, proba)
fig, ax = plt.subplots(figsize=(5, 4))
ax.step(recall, precision, where="post", label=f"PR curve (AP={ap:.3f})")
ax.set_xlabel("Recall")
ax.set_ylabel("Precision")
ax.set_xlim(0, 1)
ax.set_ylim(0, 1.05)
ax.grid(alpha=0.3)
ax.legend()
fig.tight_layout()
output_dir = Path("static/images/eval/classification/precision-recall")
output_dir.mkdir(parents=True, exist_ok=True)
fig.savefig(output_dir / "pr_curve.png", dpi=150)
plt.close(fig)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

16-22 行目陽性 5% の不均衡データを作る
weights=[0.95, 0.05] で 40,000 件のうち陽性を 2,000 件にしています。陽性が少ないほど「全部陰性」の Accuracy が 0.95 に張り付いて役に立たなくなるので、Precision と Recall を別々に見る意味がはっきりします。PR 曲線の右端（全件を陽性と判定）の Precision は陽性率そのものの 0.05 まで落ちます。
26-27 行目class_weight で少数クラスの誤りを重くする
class_weight="balanced" は陽性 1 件の誤りを陰性 19 件分として学習させる指定です。これを外すとロジスティック回帰は陽性をほとんど予測せず、閾値 0.5 の Recall が 0.3 以下に沈みます。重みを付けると Recall が上がる代わりに FP が増えて Precision が下がる、というトレードオフが閾値 0.5 の時点でも見えます。
28-29 行目確率を取り出し、閾値 0.5 で 0/1 にする
predict_proba(...)[:, 1] は陽性クラスの確率だけを 1 次元で取り出します。clf.predict も内部では同じ 0.5 で切っていますが、ここで明示的に書いているのは、あとで閾値を 0.3 に変えて同じ proba を再利用するためです。確率を捨てて 0/1 だけ保存すると PR 曲線は描けません。
31-32 行目全閾値の Precision・Recall と AP を一度に得る
precision_recall_curve は確率を降順に並べ、1 件ずつ陽性に加えながら Precision と Recall を全部計算して返します。閾値を 100 回ループで変えて precision_score を呼ぶ必要はありません。average_precision_score はこの曲線の下の面積（Recall の増分 × Precision の総和）で、閾値に依存しない 1 つの数値としてモデル比較に使います。
34 行目step で描くのは曲線が階段状だから
PR 曲線は 1 件を陽性に加えるごとに Precision が跳ぶ階段状なので、ax.plot で点を直線でつなぐと面積が過大に見えます。where="post" で scikit-learn の AP 計算と同じ階段の向きになり、凡例の AP 値と図の面積が一致します。

Precision-Recall 曲線 — 平均適合率（AP）は PR 曲線下の面積。閾値の移動で適合率と再現率のバランスが変わる。

実行結果の読み方 #

曲線の左上は閾値が高く「確信のある数件だけを陽性にした」状態で Precision が 1 に近く、右へ進むほど閾値が下がって Recall が上がり、Precision が落ちていきます。右端は全件を陽性にした状態で、Precision は陽性率の 0.05 に一致します。凡例の AP が 0.5 を超えていれば、ランダム予測（AP ≒ 陽性率 0.05）より 10 倍以上良い識別ができていると読めます。

閾値を 0.5 から 0.3 に下げると何が起きるか #

閾値 0.5 固定では見逃し（FN）を十分に減らせないことがあります。PR 曲線上の任意の点に対応する閾値は precision_recall_curve が 3 番目に返す thresholds から取れるので、Recall を 0.9 以上にしたい点を探し、その閾値で予測し直します。次のコードは閾値を 0.3 に下げて、同じ proba から 3 つの指標を再計算します。

1
2
3
4
5
6
7
8
threshold = 0.3
custom_pred = (proba >= threshold).astype(int)
print(
    "threshold=0.30",
    "Precision=", precision_score(y_test, custom_pred),
    "Recall=", recall_score(y_test, custom_pred),
    "F1=", f1_score(y_test, custom_pred),
)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1-2 行目モデルを再学習せず閾値だけ変える
閾値は学習後に自由に動かせるパラメータなので、clf.fit をやり直す必要はありません。同じ proba を 0.3 で切り直すだけで、PR 曲線上の別の点に移動します。業務要件が「見逃しを 10% 以下」のように Recall で決まっているなら、thresholds 配列から Recall ≥ 0.9 を満たす最大の閾値を選びます。
5-6 行目Recall が上がり Precision が下がるのを数値で見る
0.5 のときと比べて recall_score は上がり、precision_score は下がります。陽性と判定する件数が増えるので TP も FP も増え、分母が「実際の陽性数」で固定の Recall は改善し、分母が「予測陽性数」の Precision は希釈されるからです。
7 行目F1 で 1 本にまとめて比べる
f1_score は Precision と Recall の調和平均なので、閾値 0.5 と 0.3 のどちらがバランス良いかを 1 つの数で比べられます。見逃しのコストが誤報の 5 倍のような場面では、fbeta_score(beta=2) のように Recall に重みを置いた変種を使います。

多クラス分類での平均化 #

クラスが 3 つ以上あるときは、クラスごとに Precision と Recall を出してから 1 つにまとめる必要があり、scikit-learn では average 引数で重み付けを切り替えます。macro はクラスごとの値を単純平均するので、サンプル数が 10 件しかないクラスも 10,000 件のクラスと同じ重みで効きます。weighted は各クラスにサンプル数の重みを付けるので、全体のバランスをそのまま反映します。micro は全サンプルの TP・FP・FN を合算して再計算するため、クラス不均衡が強いと少数クラスの誤りが埋もれます。

1
2
3
precision_score(y_test, y_pred, average="macro")
recall_score(y_test, y_pred, average="weighted")
f1_score(y_test, y_pred, average="micro")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目macro は少数クラスを対等に扱う
average="macro" はクラスごとの Precision を出して単純平均します。10 件のクラスの Precision が 0.2 なら、10,000 件のクラスが 0.99 でも平均は大きく下がるので、少数クラスの取りこぼしを見つけたいときに向きます。
2 行目weighted は全体のサンプル比を反映する
average="weighted" は各クラスの Recall にサンプル数の重みを掛けて平均します。多数クラスの値がほぼそのまま出るので、業務全体の「平均的な見逃し率」を報告したいときに使い、少数クラスの診断には向きません。
3 行目micro は Accuracy と同じ値になる
average="micro" は全クラスの TP・FP・FN を合算してから F1 を計算します。多クラス単一ラベルの場合はこの値が Accuracy と一致するので、Accuracy と別に報告する意味はありません。マルチラベルのときだけ独立した意味を持ちます。

まとめ #

Precision は「陽性と判定したうちの正解率」で誤報 FP の少なさを、Recall は「本物の陽性のうち捕まえた割合」で見逃し FN の少なさを測り、分子の TP は共通で分母だけが違います。閾値を 0.5 から 0.3 に下げると Recall が上がり Precision が下がるので、precision_recall_curve で全閾値の組を描き、見逃しが痛い課題なら Recall ≥ 0.9 を満たす閾値を thresholds から選びます。F1 や平均適合率（AP）は 2 つを 1 本にまとめた指標で、モデル比較や閾値調整の議論に使えます。陽性率が 5% のような不均衡では ROC-AUC より PR 曲線の方が差が見えるので、平均適合率と ROC-AUC を並べて確認します。

閾値と適合率・再現率の変化 #

スライダーで閾値を 0 から 1 まで動かすと、Precision と Recall が逆向きに動き、F1 が途中で山を作る様子を確認できます。

F1スコア — 適合率と再現率の調和平均
ROC-AUC — 閾値非依存の性能評価
平均適合率 — PR 曲線下面積
混同行列 — 各指標の導出元
Focal Loss — 不均衡データ向けの損失関数