03.3.8
F1 Score
f1_score(y_test, y_pred) の 1 行で計算でき、見逃しを重く見たいなら fbeta_score(beta=2.0)、誤報を重く見たいなら beta=0.5 に切り替えます。F1 は閾値 0.5 の 1 点での値なので、predict_proba の確率から閾値を 0 から 1 まで動かして F1 の山を描き、頂上の閾値を運用に使うのが基本の流れです。適合率・再現率 で P と R が閾値に対して逆方向に動くことを先に学ぶと、F1 がその 2 つを 1 つの数にまとめる理由が分かって理解がスムーズです。
1. 定義:低い方に引っぱられる平均 #
適合率を \(P\)、再現率を \(R\) とすると F1 スコアは
$$ F_1 = 2 \cdot \frac{P \cdot R}{P + R} $$で表せます。これは \(P\) と \(R\) の逆数の平均の逆数(調和平均)で、\(P = 0.9, R = 0.1\) のとき算術平均は 0.5 ですが F1 は 0.18 です。片方だけ高いモデルを高く評価しない性質が、不均衡データで F1 が使われる理由です。より一般的な Fβ スコアは
$$ F_\beta = (1 + \beta^2) \cdot \frac{P \cdot R}{\beta^2 P + R} $$となり、\(\beta > 1\) で再現率を、\(\beta < 1\) で適合率をより重視します。\(\beta = 2\) なら再現率を適合率の 4 倍(\(\beta^2\) 倍)重く見る、と読みます。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:閾値を動かすと TP・FP・FN が同時に変わり、\(P\) と \(R\) は逆方向に動きます。F1 はその 2 つの調和平均なので、閾値 0 では \(R = 1\) でも \(P\) が陽性率まで落ちて低く、閾値 1 では \(R = 0\) で 0 になり、中間に山ができます。
2. Python 3.13 での計算 #
| |
次のコードは陽性 5 %・40,000 件の人工データに class_weight="balanced" のロジスティック回帰を当て、classification_report でクラスごとの P・R・F1 を、続けて F1・F0.5・F2 の 3 つを表示します。
| |
classification_report ではクラス別の Precision / Recall / F1 がまとめて確認できます。
3. 閾値と F1 スコアの関係 #
F1 は predict が使う閾値 0.5 の 1 点での値にすぎません。確率出力 predict_proba を使えば、閾値を動かしたときに F1 がどう変わるかを可視化でき、山の頂上の閾値を運用に選べます。次のコードは PR 曲線の各閾値で予測を 0/1 に丸め直し、F1 を計算します。
| |

閾値によって F1 は変動する。Recall を優先したい場合は閾値を下げて再計算する。
実行結果の読み方 #
図の左端(閾値 0)では全件が陽性と判定されるので \(R = 1\)、\(P\) は陽性率の 0.05 となり F1 は約 0.1 です。右へ進むと誤報が減って \(P\) が上がり、F1 は 0.7 付近で山を作ります。やがて \(R\) が落ちて右端で 0 になります。F1 が最大になる閾値を探せば、Precision / Recall のバランスがもっとも良い点がわかります。Recall をさらに重視したい場合は、同じループで fbeta_score(beta=2.0) を使って F2 の山を描き直すと、頂上が左(低い閾値)へ移ります。
4. 多クラスでの平均化 #
scikit-learn の average 引数を切り替えることで、多クラス問題でも F1 を 1 つの数に集計できます。macro はクラスごとに F1 を計算して単純平均するので、5 % しかないクラスも \(1/K\) の重みで公平に扱われ、少数クラスの低い F1 がそのまま平均に効きます。weighted はクラスごとの F1 をサンプル数で加重平均するので、実データのクラス比を保った値になります。micro は混同行列を合算してから計算するので多クラスでは Accuracy と一致し、クラス不均衡の影響をそのまま受けます。
| |
サンプル単位のマルチラベルでは average="samples" も利用できます。
まとめ #
F1 スコアは適合率と再現率の調和平均 \(2PR/(P+R)\) で、低い方に引っぱられるため、陽性 5 % のデータで Accuracy 0.95 を出すだけのモデルを 0 と評価します。閾値 0.5 の 1 点での値なので、predict_proba から閾値ごとの F1 を描いて山の頂上を確認し、見逃し重視なら fbeta_score(beta=2.0)、誤報重視なら beta=0.5 で重み付けを変えます。多クラスやマルチラベルでは average="macro" か "weighted" かを明示し、適合率・再現率 と PR 曲線と併せて総合的にモデルの挙動を把握してください。
閾値と F1 スコア #
スライダーで閾値を動かすと、F1 スコアが山の形を描き、適合率と再現率が逆方向に変化する様子を確認できます。
- 適合率・再現率 — F1 を構成する 2 つの指標
- 平均化戦略 — macro / weighted / micro の集計方法
- MCC — TN も含む 4 マス全部を使う代替指標
- Focal Loss — 不均衡データ向けの損失関数