K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

F1 Score

入門

03.3.8

F1 Score

最終更新 2020-05-06 読了時間 4 分
まとめ
F1 スコアは適合率 \(P = TP/(TP+FP)\) と再現率 \(R = TP/(TP+FN)\) の調和平均 \(2PR/(P+R)\) で、片方が 0.1 なら他方が 1.0 でも 0.18 にしかならない、低い方に引っぱられる指標です。陽性 5 % のような不均衡データで Accuracy が 0.95 を出しても、陽性を 1 件も当てていなければ F1 は 0 になるので、少数クラスの検出力をそのまま表します。f1_score(y_test, y_pred) の 1 行で計算でき、見逃しを重く見たいなら fbeta_score(beta=2.0)、誤報を重く見たいなら beta=0.5 に切り替えます。F1 は閾値 0.5 の 1 点での値なので、predict_proba の確率から閾値を 0 から 1 まで動かして F1 の山を描き、頂上の閾値を運用に使うのが基本の流れです。

適合率・再現率 で P と R が閾値に対して逆方向に動くことを先に学ぶと、F1 がその 2 つを 1 つの数にまとめる理由が分かって理解がスムーズです。


1. 定義:低い方に引っぱられる平均 #

適合率を \(P\)、再現率を \(R\) とすると F1 スコアは

$$ F_1 = 2 \cdot \frac{P \cdot R}{P + R} $$

で表せます。これは \(P\) と \(R\) の逆数の平均の逆数(調和平均)で、\(P = 0.9, R = 0.1\) のとき算術平均は 0.5 ですが F1 は 0.18 です。片方だけ高いモデルを高く評価しない性質が、不均衡データで F1 が使われる理由です。より一般的な Fβ スコアは

$$ F_\beta = (1 + \beta^2) \cdot \frac{P \cdot R}{\beta^2 P + R} $$

となり、\(\beta > 1\) で再現率を、\(\beta < 1\) で適合率をより重視します。\(\beta = 2\) なら再現率を適合率の 4 倍(\(\beta^2\) 倍)重く見る、と読みます。


何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:閾値を動かすと TP・FP・FN が同時に変わり、\(P\) と \(R\) は逆方向に動きます。F1 はその 2 つの調和平均なので、閾値 0 では \(R = 1\) でも \(P\) が陽性率まで落ちて低く、閾値 1 では \(R = 0\) で 0 になり、中間に山ができます。

2. Python 3.13 での計算 #

1
2
python --version        # 例: Python 3.13.0
pip install scikit-learn matplotlib

次のコードは陽性 5 %・40,000 件の人工データに class_weight="balanced" のロジスティック回帰を当て、classification_report でクラスごとの P・R・F1 を、続けて F1・F0.5・F2 の 3 つを表示します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    classification_report,
    f1_score,
    fbeta_score,
)
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X, y = make_classification(
    n_samples=40_000,
    n_features=20,
    n_informative=6,
    weights=[0.95, 0.05],
    random_state=42,
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=42
)
model = make_pipeline(
    StandardScaler(),
    LogisticRegression(max_iter=2000, class_weight="balanced"),
)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred, digits=3))
print("F1:", f1_score(y_test, y_pred))
print("F0.5:", fbeta_score(y_test, y_pred, beta=0.5))
print("F2:", fbeta_score(y_test, y_pred, beta=2.0))

classification_report ではクラス別の Precision / Recall / F1 がまとめて確認できます。


3. 閾値と F1 スコアの関係 #

F1 は predict が使う閾値 0.5 の 1 点での値にすぎません。確率出力 predict_proba を使えば、閾値を動かしたときに F1 がどう変わるかを可視化でき、山の頂上の閾値を運用に選べます。次のコードは PR 曲線の各閾値で予測を 0/1 に丸め直し、F1 を計算します。

1
2
3
4
5
6
7
8
from sklearn.metrics import precision_recall_curve, f1_score
proba = model.predict_proba(X_test)[:, 1]
precision, recall, thresholds = precision_recall_curve(y_test, proba)
thresholds = np.append(thresholds, 1.0)
f1_scores = [
    f1_score(y_test, (proba >= t).astype(int))
    for t in thresholds
]
F1 スコアと閾値

閾値によって F1 は変動する。Recall を優先したい場合は閾値を下げて再計算する。

実行結果の読み方 #

図の左端(閾値 0)では全件が陽性と判定されるので \(R = 1\)、\(P\) は陽性率の 0.05 となり F1 は約 0.1 です。右へ進むと誤報が減って \(P\) が上がり、F1 は 0.7 付近で山を作ります。やがて \(R\) が落ちて右端で 0 になります。F1 が最大になる閾値を探せば、Precision / Recall のバランスがもっとも良い点がわかります。Recall をさらに重視したい場合は、同じループで fbeta_score(beta=2.0) を使って F2 の山を描き直すと、頂上が左(低い閾値)へ移ります。


4. 多クラスでの平均化 #

scikit-learn の average 引数を切り替えることで、多クラス問題でも F1 を 1 つの数に集計できます。macro はクラスごとに F1 を計算して単純平均するので、5 % しかないクラスも \(1/K\) の重みで公平に扱われ、少数クラスの低い F1 がそのまま平均に効きます。weighted はクラスごとの F1 をサンプル数で加重平均するので、実データのクラス比を保った値になります。micro は混同行列を合算してから計算するので多クラスでは Accuracy と一致し、クラス不均衡の影響をそのまま受けます。

1
2
3
from sklearn.metrics import f1_score
f1_macro = f1_score(y_test, y_pred, average="macro")
f1_weighted = f1_score(y_test, y_pred, average="weighted")

サンプル単位のマルチラベルでは average="samples" も利用できます。


まとめ #

F1 スコアは適合率と再現率の調和平均 \(2PR/(P+R)\) で、低い方に引っぱられるため、陽性 5 % のデータで Accuracy 0.95 を出すだけのモデルを 0 と評価します。閾値 0.5 の 1 点での値なので、predict_proba から閾値ごとの F1 を描いて山の頂上を確認し、見逃し重視なら fbeta_score(beta=2.0)、誤報重視なら beta=0.5 で重み付けを変えます。多クラスやマルチラベルでは average="macro" か "weighted" かを明示し、適合率・再現率 と PR 曲線と併せて総合的にモデルの挙動を把握してください。


閾値と F1 スコア #

スライダーで閾値を動かすと、F1 スコアが山の形を描き、適合率と再現率が逆方向に変化する様子を確認できます。