SMOTE

最終更新 2026-03-03 読了時間 3 分

まとめ

SMOTE（Synthetic Minority Over-sampling Technique）は、少数派クラスの各点から k 個の近傍点（既定 k_neighbors=5）を選び、その点と近傍を結ぶ線分上のランダムな位置に新しい点を合成して、少数派を多数派と同じ数まで増やす手法です。同じ点を複製する Random Over-sampling と違い、特徴空間を補間した点を足すので、決定境界が少数派の既存点を丸暗記する過学習を抑えられます。このページでは 95:5 の 2 クラス 2,000 件を imblearn.over_sampling.SMOTE で 1:1 に揃え、RandomForestClassifier の classification_report を SMOTE なし／ありで比べます。カテゴリ特徴量が混ざるデータでは SMOTENC を使います。

直感 #

クレジットカード不正検知では、正常取引が 99%・不正が 1% というデータが典型的です。そのまま学習すると「全部正常」と予測するだけで正解率 99% になり、不正をまったく見つけられないモデルが「高精度」に見えてしまいます。SMOTE は少数派の各点について近い少数派の点を 5 個探し、そのどれかと結んだ線分上の適当な位置に新しい点を置く、という操作を少数派が多数派と同数になるまで繰り返します。少数派の点が密になるので、モデルは少数派の領域を「例外」ではなく「ひとつのクラス」として境界を引けるようになります。

何が起きているか（ステップで見る） #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント：新しい点は少数点どうしを結ぶ線分上に作る。コピーではないので境界が少し滑らかになる。6 点しかなかった少数クラス（橙）が、薄い橙の合成点で領域として広がる。

詳細な解説 #

imbalanced-learn Documentation

ライブラリとデータ #

SMOTE は scikit-learn 本体には入っておらず、pip install imbalanced-learn で入る imblearn パッケージから読み込みます。

1
2
3
4
5
6
7
8
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from sklearn.ensemble import RandomForestClassifier
from imblearn.over_sampling import SMOTE
from collections import Counter

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

5 行目正解率ではなく classification_report で見る
不均衡データでは accuracy_score が 0.95 でも少数派を 1 件も当てていないことがあります。classification_report はクラスごとの precision・recall・F1 を出すので、少数派（クラス 1）の recall が SMOTE で上がったかを直接読めます。
7 行目SMOTE は imblearn から読み込む
imblearn.over_sampling.SMOTE は imbalanced-learn パッケージのクラスで、scikit-learn と同じ fit_resample 流の API を持ちます。同じモジュールに SMOTENC（カテゴリ特徴量対応）、BorderlineSMOTE、ADASYN も入っています。
8 行目Counter でクラス比を数える
collections.Counter は配列の値ごとの個数を返す標準ライブラリで、Counter(y) が {0: 1900, 1: 100} のようにクラス比を 1 行で示します。SMOTE 前後でこの数が 1900:100 から 1330:1330 に変わるのを確認するのに使います。

不均衡データの作成 #

次のコードは多数派 95%・少数派 5% の 2,000 件を作り、クラス比を保ったまま訓練 7 割・テスト 3 割に分けます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
X, y = make_classification(
    n_samples=2000, n_features=10, n_informative=5,
    weights=[0.95, 0.05], flip_y=0, random_state=42
)
print("元のクラス分布:", Counter(y))
# Counter({0: 1900, 1: 100})

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

3 行目weights でクラス比を 95:5 に決める
weights=[0.95, 0.05] がクラス 0 とクラス 1 の割合で、2,000 件なら 1,900 件と 100 件になります。flip_y=0 はラベルのノイズをゼロにする指定で、これを既定の 0.01 のままにすると少数派に誤ラベルが混ざり、SMOTE がノイズ点のまわりにも合成点を作ってしまいます。
2 行目10 特徴量のうち 5 つだけが有効
n_features=10, n_informative=5 で、10 列のうち 5 列だけがクラスの判別に役立つデータになります。残りの 5 列はノイズです。SMOTE は全 10 次元で近傍を探すので、無関係な列が多いほど「近い点」の意味が薄れ、合成点の品質が下がります。
8-10 行目stratify=y で 95:5 を両側に保つ
stratify=y を付けると、訓練 1,400 件とテスト 600 件のどちらにもクラス 1 が 5%（70 件と 30 件）入ります。付けないと、偶然テスト側の少数派が 20 件程度になり、recall の評価が数件の当たり外れで大きくぶれます。詳しくは層化抽出を参照してください。

SMOTE の適用 #

次のコードは訓練データだけに SMOTE をかけます。少数派 70 件が、多数派と同じ 1,330 件まで合成で増えます。

1
2
3
smote = SMOTE(sampling_strategy="auto", k_neighbors=5, random_state=42)
X_resampled, y_resampled = smote.fit_resample(X_train, y_train)
print("SMOTE 後:", Counter(y_resampled))

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目sampling_strategy と k_neighbors の意味
sampling_strategy="auto" は「少数派を多数派と同数まで増やす」指定で、0.5 のように比率を渡せば多数派の半分まで、辞書で各クラスの目標件数も指定できます。k_neighbors=5 は合成の相手を選ぶ近傍の数で、少数派が 70 件なら各点の近い 5 点から相手をランダムに選びます。少数派が 6 件以下だと近傍が足りず ValueError になるので、その場合は k_neighbors を減らします。
2 行目fit_resample は訓練データにだけ使う
fit_resample(X_train, y_train) は訓練データの少数派を補間して、増やした後の X_resampled・y_resampled を返します。ここに X_test を渡してはいけません。テストデータに合成点を混ぜると、本番には存在しない「作り物の正例」で評価することになり、recall が実力以上に見えます。
3 行目クラス比が 1:1 になったことを確認する
Counter(y_resampled) は {0: 1330, 1: 1330} のように両クラス同数を返します。合成されたのは 1,330 − 70 = 1,260 件で、すべて既存の少数派 70 件どうしを結ぶ線分上に置かれています。

効果の比較 #

次のコードは同じ設定の RandomForestClassifier を、元の訓練データと SMOTE 後の訓練データでそれぞれ学習し、同じテストデータで classification_report を比べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
# SMOTE なし
rf_base = RandomForestClassifier(n_estimators=100, random_state=42)
rf_base.fit(X_train, y_train)
print("=== SMOTE なし ===")
print(classification_report(y_test, rf_base.predict(X_test)))

# SMOTE あり
rf_smote = RandomForestClassifier(n_estimators=100, random_state=42)
rf_smote.fit(X_resampled, y_resampled)
print("=== SMOTE あり ===")
print(classification_report(y_test, rf_smote.predict(X_test)))

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

2, 8 行目モデルの設定は 2 つで同じにする
n_estimators=100, random_state=42 を両方に揃えているので、2 つの report の差は訓練データの違い（SMOTE の有無）だけから生まれます。片方だけ木の本数を変えると、効果が SMOTE のものかモデルのものか分からなくなります。
3, 9 行目学習データだけが違う
rf_base は 1,400 件（95:5）、rf_smote は 2,660 件（1:1）で学習します。多数派 1,330 件は両方に同じものが入っていて、違いは少数派が 70 件か 1,330 件かだけです。
5, 11 行目評価は元のテストデータで行う
どちらも X_test・y_test（600 件、少数派 30 件）で評価します。見るべき数字はクラス 1 の recall で、SMOTE なしでは少数派の多くを見逃して低く、SMOTE ありでは上がる代わりに precision が少し下がるのが典型的な結果です。accuracy はどちらも 0.95 前後で、差がほとんど見えません。

SMOTE の派生手法 #

手法	特徴	使いどころ
SMOTE	k近傍の線分上に合成	基本手法
Borderline-SMOTE	境界付近のサンプルのみ補間	決定境界の改善
ADASYN	学習困難な領域を重点的に補間	密度適応
SMOTENC	カテゴリ特徴量に対応	混合データ
SMOTE + Tomek Links	オーバーサンプリング + ノイズ除去	クリーンな境界

注意点 #

SMOTE は訓練データにのみ適用し、テストデータには使いません。交差検証と組み合わせるときは imblearn.pipeline.Pipeline に SMOTE とモデルを入れると、各 fold の訓練側だけに合成が走り、検証側への漏れを防げます。特徴量が 10 を超えて多くなると、近傍距離がどの点でも似た値になる次元の呪いで、線分上の合成点が少数派の分布から外れやすくなります。RandomForestClassifier(class_weight="balanced") のようにモデル側で少数派の重みを上げる方法もあり、合成点を作りたくない場合の代替になります。

Balanced Accuracy — 不均衡データに適した評価指標
適合率・再現率 — コスト非対称な評価
Random Forest — class_weight でも不均衡に対応可能