【ベンチマーク】極端な不均衡データの分類

最終更新 2026-03-06 読了時間 6 分

まとめ

少数クラスが全体の 2 %（5000 件中 100 件）しかない不均衡データで、5 つの分類器 × 対策あり・なしを 5 分割交差検証で比べます。Accuracy はどのモデルも 0.97〜0.99 に張り付いて差が見えませんが、F1 と MCC（Matthews 相関係数）で見ると、少数クラスをほぼ見逃すモデルと検出できるモデルの差がはっきり出ます。class_weight="balanced" を指定するだけで LogisticRegression と RandomForestClassifier の少数クラス検出が大きく改善し、追加パッケージなしで SMOTE と同等以上の効果を得られることが多いと分かります。読み終えると、「Accuracy 98 %」という数字を見た瞬間にクラス比率と混同行列を確認する習慣がつきます。

不正検知・故障予測・希少疾患の診断など、「見つけたいクラスが圧倒的に少ない」問題は実務で頻出する。多数クラスを全部正解すればAccuracy 98%が出るため、Accuracyだけでは判断を誤る。ここでは不均衡データに特化した対策と評価指標の選び方を検証する。

1. データの特徴 #

n=5000 の 2 クラス分類で、多数クラスが 98 %、少数クラスが 2 %（100 サンプル）です。特徴量は 10 個で、うち 5 個がクラスを分ける情報を持ちます。「全部を多数クラスと答える」だけで Accuracy が 0.98 になるので、焦点は 100 件の少数クラスをどれだけ正しく検出できるかに置きます。

何が起きているか（ステップで見る） #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント：新しい点は少数点どうしを結ぶ線分上に作る。コピーではないので境界が少し滑らかになる。

2. 合成データの生成 #

次のコードは make_classification の weights=[0.98, 0.02] で不均衡データを作り、クラス数の棒グラフ、上位 2 特徴量の散布図、最重要特徴量の分布の 3 枚で「少数クラスがどこに埋もれているか」を見ます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification

X, y = make_classification(
    n_samples=5000, n_features=10, n_informative=5,
    n_redundant=2, n_classes=2, weights=[0.98, 0.02],
    flip_y=0.01, random_state=42, class_sep=1.2,
)

fig, axes = plt.subplots(1, 3, figsize=(14, 4))

# クラス分布
counts = np.bincount(y)
axes[0].bar(["多数 (0)", "少数 (1)"], counts, color=["#94a3b8", "#ef4444"])
for i, c in enumerate(counts):
    axes[0].text(i, c + 30, f"{c} ({c/len(y)*100:.1f}%)", ha="center", fontsize=10)
axes[0].set_title("クラス分布")
axes[0].set_ylabel("サンプル数")
axes[0].grid(alpha=0.2)

# 上位2特徴量で散布図
from sklearn.feature_selection import f_classif
f_scores, _ = f_classif(X, y)
top2 = np.argsort(f_scores)[-2:]
axes[1].scatter(X[y == 0, top2[0]], X[y == 0, top2[1]], c="#94a3b8", alpha=0.3, s=10, label="多数")
axes[1].scatter(X[y == 1, top2[0]], X[y == 1, top2[1]], c="#ef4444", alpha=0.8, s=30, label="少数")
axes[1].set_title("上位2特徴量の散布図")
axes[1].legend()
axes[1].grid(alpha=0.2)

# 特徴量0の分布比較
axes[2].hist(X[y == 0, top2[0]], bins=30, alpha=0.5, color="#94a3b8", label="多数", density=True)
axes[2].hist(X[y == 1, top2[0]], bins=15, alpha=0.7, color="#ef4444", label="少数", density=True)
axes[2].set_title("最重要特徴量の分布")
axes[2].legend()
axes[2].grid(alpha=0.2)

fig.suptitle("不均衡データの構造（少数クラス = 2%）", fontsize=13)
fig.tight_layout()
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

6-10 行目weights で 98 対 2 の比率を作る
weights=[0.98, 0.02] がクラス比率の指定で、5000 件のうち約 100 件だけが少数クラスになります。flip_y=0.01 はラベルの 1 % をランダムに入れ替える指定で、「少数クラスのように見える多数クラスの点」を少し混ぜて現実のデータに近づけています。class_sep=1.2 は塊の離れ具合で、1.2 は「分けられるが簡単ではない」程度です。
15-21 行目まずクラス数を数えて棒にする
np.bincount(y) でクラス 0 と 1 の件数を数え、棒の上に件数と割合を書き込みます。不均衡データの分析はこの 1 枚から始めるべきで、ここで 4900 対 100 という数字を見ておけば、後で Accuracy 0.98 が出ても「多数クラスを全部当てただけ」と気づけます。
24-31 行目少数クラスを目立たせて散布図に重ねる
f_classif の F 値で上位 2 列を選び、多数クラスを薄い灰色（alpha=0.3, s=10）、少数クラスを濃い赤（alpha=0.8, s=30）で描き分けます。同じ alpha と s で描くと 100 個の赤点は 4900 個の灰色に埋もれて見えません。少数クラスが塊の端に寄っているか、多数クラスの中に散っているかで、分類の難しさが変わります。
34-38 行目density=True で件数差を打ち消して分布を比べる
最重要特徴量のヒストグラムを 2 クラス重ねますが、density=True を付けないと少数クラスの山は多数クラスの 1/49 の高さになって読めません。密度に直すことで「少数クラスは右に寄っている」といった分布の形の違いが見え、この列 1 本でどこまで分けられるかの見当がつきます。

不均衡データの構造

3. 比較するパイプライン #

対策	分類器
なし（デフォルト）	Logistic, SVM, KNN, RandomForest, GradientBoosting
class_weight=“balanced”	Logistic, SVM, RandomForest
ランダムオーバーサンプリング	Logistic, SVM, KNN, RandomForest, GradientBoosting
ランダムアンダーサンプリング	Logistic, SVM, KNN, RandomForest, GradientBoosting

4. 実験と結果 #

次のコードは、対策なしの 5 モデルと class_weight="balanced" の 3 モデルを同じ 5 分割で交差検証し、Accuracy・F1・MCC の 3 枚のヒートマップに並べます。3 枚を横に並べることで、「Accuracy では差がないのに F1 と MCC では差が出る」ことを一目で比べられます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
from sklearn.model_selection import cross_val_score, StratifiedKFold
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.metrics import make_scorer, f1_score, average_precision_score, matthews_corrcoef
import seaborn as sns

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

def random_oversample(X_train, y_train, random_state=42):
    """少数クラスを多数クラスと同数になるまで複製する。"""
    rng = np.random.default_rng(random_state)
    minority = X_train[y_train == 1]
    minority_y = y_train[y_train == 1]
    n_to_add = (y_train == 0).sum() - len(minority)
    if n_to_add <= 0:
        return X_train, y_train
    idx = rng.choice(len(minority), size=n_to_add, replace=True)
    X_aug = np.vstack([X_train, minority[idx]])
    y_aug = np.concatenate([y_train, minority_y[idx]])
    return X_aug, y_aug

classifiers_default = {
    "Logistic": LogisticRegression(max_iter=1000, random_state=42),
    "SVM": SVC(random_state=42),
    "KNN": KNeighborsClassifier(),
    "RF": RandomForestClassifier(n_estimators=100, random_state=42),
    "GBM": GradientBoostingClassifier(n_estimators=100, random_state=42),
}
classifiers_balanced = {
    "Logistic": LogisticRegression(class_weight="balanced", max_iter=1000, random_state=42),
    "SVM": SVC(class_weight="balanced", random_state=42),
    "RF": RandomForestClassifier(class_weight="balanced", n_estimators=100, random_state=42),
}

f1_scorer = make_scorer(f1_score, pos_label=1)
mcc_scorer = make_scorer(matthews_corrcoef)

results = []

# デフォルト
for name, clf in classifiers_default.items():
    pipe = Pipeline([("scaler", StandardScaler()), ("clf", clf)])
    f1 = cross_val_score(pipe, X, y, cv=cv, scoring=f1_scorer).mean()
    mcc = cross_val_score(pipe, X, y, cv=cv, scoring=mcc_scorer).mean()
    acc = cross_val_score(pipe, X, y, cv=cv, scoring="accuracy").mean()
    results.append({"対策": "なし", "分類器": name, "F1": f1, "MCC": mcc, "Accuracy": acc})

# class_weight="balanced"
for name, clf in classifiers_balanced.items():
    pipe = Pipeline([("scaler", StandardScaler()), ("clf", clf)])
    f1 = cross_val_score(pipe, X, y, cv=cv, scoring=f1_scorer).mean()
    mcc = cross_val_score(pipe, X, y, cv=cv, scoring=mcc_scorer).mean()
    acc = cross_val_score(pipe, X, y, cv=cv, scoring="accuracy").mean()
    results.append({"対策": "balanced", "分類器": name, "F1": f1, "MCC": mcc, "Accuracy": acc})

df = pd.DataFrame(results)

# ヒートマップ: F1 vs MCC vs Accuracy
fig, axes = plt.subplots(1, 3, figsize=(16, 4))
for i, metric in enumerate(["Accuracy", "F1", "MCC"]):
    pivot = df.pivot_table(index="対策", columns="分類器", values=metric)
    cmap = "RdYlGn" if metric != "Accuracy" else "RdYlGn"
    sns.heatmap(pivot, annot=True, fmt=".3f", cmap=cmap,
                linewidths=0.5, ax=axes[i],
                vmin=0 if metric == "MCC" else 0.5,
                vmax=1.0)
    axes[i].set_title(f"{metric}")
    axes[i].set_xlabel("")
    if i > 0:
        axes[i].set_ylabel("")

fig.suptitle("不均衡データ: 指標ごとの比較（Accuracyの罠に注意）", fontsize=13)
fig.tight_layout()
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

11 行目Stratified で少数クラスを各分割に均等に入れる
StratifiedKFold は各分割のクラス比率を元データと同じ 98 対 2 に保つので、5 分割それぞれに少数クラスが約 20 件ずつ入ります。普通の KFold だと分割によって少数クラスが 10 件や 30 件に偏り、F1 のばらつきが大きくなります。少数クラスが 100 件しかないデータでは、この指定を省くと評価が信用できません。
13-24 行目オーバーサンプリングの中身は少数クラスの複製
random_oversample は少数クラスの行を rng.choice(replace=True) で重複ありに選び、多数クラスと同数になるまで積み増す関数です。ステップ再生で見た SMOTE は線分上に新しい点を作りますが、こちらは同じ点のコピーなので境界は滑らかになりません。この関数は学習データにだけ適用するものとして定義してあり、評価データに使うと分布が変わって評価が歪みます。
26-37 行目balanced は損失の重みを 49 倍にする
class_weight="balanced" は、各クラスの重みを「全件数 ÷（クラス数 × そのクラスの件数）」にするので、少数クラスの 1 件は多数クラスの 1 件の約 49 倍の重みで損失に効きます。データを増やさずに「少数クラスを間違えると 49 倍痛い」と教える方法で、LogisticRegression・SVC・RandomForestClassifier が対応しています。KNeighborsClassifier と GradientBoostingClassifier にはこの引数がないので比較表から外れています。
39-40 行目F1 は少数クラスを正例にして測る
make_scorer(f1_score, pos_label=1) で「クラス 1（少数）を見つけたときの F1」を指定します。既定の pos_label も 1 ですが、明示しておくと多数クラスの F1 と混同しません。matthews_corrcoef は 4 つのセル（TP・TN・FP・FN）をすべて使う −1〜1 の指標で、全部を多数クラスと答えると 0 になるため、Accuracy の罠にかかりません。
44-58 行目同じ分割で 3 つの指標を別々に採点する
cross_val_score を指標ごとに 3 回呼び、F1・MCC・Accuracy を同じ cv で求めます。1 回の cross_validate に 3 つの scoring を渡すほうが速いですが、ここでは読みやすさを優先しています。結果は辞書にして results に積み、後で DataFrame にします。
63-74 行目3 枚のヒートマップの色範囲をわざと変える
Accuracy と F1 は vmin=0.5、MCC は vmin=0 に設定しています。MCC は 0 が「当たっていない」状態なので 0 から色を付け、Accuracy は 0.98 前後に全モデルが集まるため、同じ色範囲だと全セルが同じ緑になって差が見えません。3 枚を並べて「Accuracy は全部緑、F1 と MCC は赤と緑が混ざる」と見えれば、このベンチマークの要点が伝わります。

指標別ヒートマップ

読み方のポイント #

Accuracy は全モデルで 0.97〜0.99 に張り付いており、モデル間の差がほとんど見えません。F1 や MCC で見ると、class_weight="balanced" を指定しただけで LogisticRegression と RandomForestClassifier の少数クラス検出が大幅に改善します。KNeighborsClassifier は不均衡に弱く、近傍 5 点のほとんどが多数クラスで占められるため、少数クラスの票が多数決で埋もれます。

5. 誤差パターン分析 #

対策なしの Logistic、balanced の Logistic、balanced の RandomForest を同じ 70/30 分割で学習し、混同行列で「少数クラス 30 件のうち何件を見つけられたか」を比べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay, precision_recall_curve

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, stratify=y, random_state=42)

configs = [
    ("なし + Logistic", LogisticRegression(max_iter=1000, random_state=42)),
    ("balanced + Logistic", LogisticRegression(class_weight="balanced", max_iter=1000, random_state=42)),
    ("balanced + RF", RandomForestClassifier(class_weight="balanced", n_estimators=100, random_state=42)),
]

fig, axes = plt.subplots(1, 3, figsize=(14, 4))
scaler = StandardScaler()
X_tr_s = scaler.fit_transform(X_tr)
X_te_s = scaler.transform(X_te)

for i, (name, clf) in enumerate(configs):
    clf.fit(X_tr_s, y_tr)
    y_pred = clf.predict(X_te_s)
    cm = confusion_matrix(y_te, y_pred)
    ConfusionMatrixDisplay(cm, display_labels=["多数", "少数"]).plot(
        ax=axes[i], cmap="Blues", colorbar=False)
    f1 = f1_score(y_te, y_pred)
    axes[i].set_title(f"{name}\nF1={f1:.3f}", fontsize=10)

fig.suptitle("混同行列の比較", fontsize=13)
fig.tight_layout()
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

4 行目評価側にも少数クラスを 30 件残す
train_test_split(test_size=0.3, stratify=y) で 1500 件を評価に回し、stratify=y で少数クラスが約 30 件入るようにします。stratify を省くと評価側の少数クラスが 20 件や 40 件になり、混同行列の右下のセル（少数クラスの正解数）が比べられなくなります。
13-15 行目標準化は学習データで fit、評価データは transform だけ
scaler.fit_transform(X_tr) で学習データの平均と標準偏差を求めて変換し、評価データには transform だけを適用します。評価データで fit し直すと、評価側の情報が前処理に漏れる（リーク）うえ、学習時と違う尺度で予測することになります。
17-24 行目混同行列の右下が「見つけた少数クラス」
confusion_matrix の行が正解、列が予測で、右下のセルが少数クラスを少数クラスと正しく当てた件数（TP）、左下が少数クラスを多数クラスと見逃した件数（FN）です。対策なしの Logistic は左下が大きく、balanced を付けると右下が増える代わりに右上（多数クラスを少数と誤った FP）も少し増えます。タイトルに f1_score を書き込んでいるので、この入れ替わりが F1 にどう効いたかも同時に読めます。

混同行列の比較

デフォルトの Logistic は少数クラスをほぼ見逃す（False Negative 多）。class_weight="balanced" を指定すると少数クラスの再現率が上がり、多少の False Positive と引き換えに F1 が大幅に改善する。

6. よくある失敗パターン #

最初の失敗は、Accuracy だけで評価することです。多数クラスを全部正解するだけで 98 % に到達するため、モデルの実力が見えません。F1、PR-AUC、MCC を必ず確認してください。二つ目は、テストデータもリサンプリングすることです。オーバーサンプリングは学習データにのみ適用し、テストデータの分布を 98 対 2 のまま残さないと、本番で出会う比率と違う条件で評価することになり結果が歪みます。

まとめ #

少数クラスが 2 % のデータでは、Accuracy は全モデルで 0.98 前後に張り付き、F1 と MCC だけがモデルの差を映しました。class_weight="balanced" は少数クラス 1 件の損失を約 49 倍に重くするだけの指定ですが、LogisticRegression と RandomForestClassifier の少数クラス検出を大きく改善し、追加パッケージなしで SMOTE と同等以上の効果を出すことが多いです。KNeighborsClassifier は近傍の多数決が多数クラスに流されるため不均衡に弱く、class_weight も持ちません。評価では StratifiedKFold と stratify=y で少数クラスを均等に配り、リサンプリングは学習データだけに適用してください。

F1スコア — Precision × Recallの調和平均
ROC-AUC — 閾値非依存の判別力指標
混同行列 — 誤分類の内訳を TP・FP・FN で可視化
ロジスティック回帰 — class_weightの活用