K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

Nested CV

上級

03.1.6

Nested CV

最終更新 2020-04-08 読了時間 3 分
まとめ
ネステッド交差検証は、「ハイパーパラメータを選ぶ」作業と「選んだモデルの汎化性能を測る」作業を、別々のデータ分割で行う検証手法です。内側の 3 分割 CV で GridSearchCV が max_depth や n_estimators を選び、外側の 5 分割 CV がその選択ごと含めた手順を一度も見ていないテストデータで採点します。普通の CV で探索と評価を同じ分割でやると、たまたまその分割に合う設定が選ばれてスコアが 1〜5 ポイント高く出る(最適化バイアス)のを防げます。scikit-learn では cross_val_score(GridSearchCV(...), X, y, cv=outer_cv) と、サーチオブジェクトをそのまま渡すだけで実装できます。

交差検証 の KFold による K 分割を先に押さえてください。ネステッド CV は、その K 分割を外側と内側で二重に組み合わせた手法です。


直感:答案を見ながら勉強法を選んではいけない #

模試を 5 回分持っているとします。5 回全部を使って「どの参考書が一番点が伸びるか」を選び、同じ 5 回分で本番の点数を予想したら、その予想は甘くなります。参考書選びの段階で模試 5 回分の問題を見てしまっているからです。ネステッド CV は、模試を 1 回分だけ封印し、残り 4 回分の中でさらに分割して参考書(ハイパーパラメータ)を選び、封印した 1 回分で採点する、これを 5 回繰り返す方法です。封印したデータは GridSearchCV の探索に一度も使われないため、5 回分のスコアの平均は「初見のデータに対する性能」の推定になります。


Python での実装 #

次のコードは、RandomForestClassifier の n_estimators(2 候補)と max_depth(3 候補)の 6 通りを内側 3 分割 CV で選び、外側 5 分割 CV で ROC-AUC を推定します。X と y は二値分類の特徴量とラベルを事前に用意しておきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
from sklearn.model_selection import GridSearchCV, cross_val_score, KFold
from sklearn.ensemble import RandomForestClassifier
param_grid = {
    "n_estimators": [100, 200],
    "max_depth": [None, 10, 20],
}
inner_cv = KFold(n_splits=3, shuffle=True, random_state=0)
outer_cv = KFold(n_splits=5, shuffle=True, random_state=1)
grid = GridSearchCV(
    RandomForestClassifier(random_state=0),
    param_grid=param_grid,
    cv=inner_cv,
    scoring="roc_auc",
    n_jobs=-1,
)
scores = cross_val_score(grid, X, y, cv=outer_cv, scoring="roc_auc", n_jobs=-1)
print("Nested CV ROC-AUC:", scores.mean(), "+/-", scores.std())

cross_val_score にサーチオブジェクトを渡すだけで、外側 5 回それぞれで「内側 3 分割の探索 → 最良パラメータで再学習 → 封印分割で採点」が自動で走ります。選ばれたパラメータが外側 5 回でばらつくかを見たいときは、cross_validate(..., return_estimator=True) に替えて各回の best_params_ を取り出します。


何が得られるか #

得られるものは 3 つです。第一に、GridSearchCV の探索がテスト分割を見ないので、過大評価が起きません。第二に、RandomForestClassifier と GradientBoostingClassifier のように別々に最適なパラメータを持つモデルを、同じ外側分割の ROC-AUC で公平に比べられます。第三に、外側 5 回分のスコアから標準偏差が出るので、「0.91 ± 0.02」のように幅を付けて性能を報告できます。


使いどころと落とし穴 #

ネステッド CV の価値が最も高いのは、データが数百〜数千件と少なく、しかも複数モデルやパラメータを比較したい場面です。データが少ないほど「たまたま分割に合う設定」が選ばれやすく、最適化バイアスが大きくなるからです。逆にデータが数十万件あるなら、ホールドアウトの検証セットを 1 つ切っておくだけで同じ目的を安く達せます。

落とし穴は計算コストです。この例では外側 5 × 内側 3 × 候補 6 で約 90 回の学習が走り、候補が 60 通りに増えれば 900 回になります。候補が多いときは RandomizedSearchCV で n_iter=20 に抑える、内側を n_splits=3 に留める、XGBoost のような早期停止に対応したモデルでは early_stopping_rounds を使う、n_jobs=-1 で全コアを使う、の 4 つが現実的な対策です。全モデルに適用する必要はなく、普通の CV で候補を 2〜3 個に絞ってから、最終候補だけネステッド CV で評価するのが実務的な流れです。報告書には探索範囲(param_grid)と分割数(5 × 3)を明記しておくと、過学習リスクをどう管理したかを後から検証できます。


まとめ #

ネステッド交差検証は、内側の GridSearchCV(3 分割)でパラメータを選び、外側の cross_val_score(5 分割)でその選び方ごと採点する二重の CV です。テスト分割がパラメータ選びに混ざらないため、普通の CV で起きる最適化バイアスによる過大評価を防げます。実装はサーチオブジェクトを cross_val_score に渡すだけですが、学習回数は「外側 × 内側 × 候補数」で増えるので、候補を絞るか RandomizedSearchCV に替えて使います。データが少なく複数モデルを比べる最終評価に使い、scores.mean() と scores.std() の両方を報告するのが基本です。


よくある質問 #

通常の CV と Nested CV はどう違う? #

通常の CV はハイパーパラメータ探索と汎化性能評価を同じ分割で行うため、選ばれたパラメータがたまたまその分割に合っているだけでも高いスコアが出る最適化バイアスが生じます。Nested CV は外側ループで性能評価、内側ループでパラメータ探索を分離するため、この過楽観的な評価を防げます。

いつ Nested CV が必要? #

データ量が少なく(数百〜数千件)、複数モデルやハイパーパラメータを比較したい場合にとくに有効です。大規模データセットやモデル選択の不確実性が低い場合は計算コストが高いため、標準の CV にホールドアウトを足すだけで十分なこともあります。

計算コストを下げるには? #

まず内側ループの分割数を K_inner=3 程度に抑えます。次に GridSearchCV を RandomizedSearchCV に替えて n_iter で探索回数を固定します。XGBoost など対応するモデルでは早期停止を使い、最後に n_jobs=-1 で全 CPU コアを並列に使います。

Nested CV のスコアが通常 CV より大幅に低い場合は? #

ハイパーパラメータ空間を広げすぎている、または特徴量が多すぎることで過学習が起きている可能性があります。特徴量選択や、max_depth を小さくするなどのより強い正則化を試してください。差が 5% 以上あるなら最適化バイアスが強く、Nested CV のスコアのほうが真の性能に近い値です。


  • 交差検証 — 基本のK分割
  • 検証曲線 — パラメーター感度の確認
  • AIC・BIC — 情報量基準によるモデル選択
  • Optuna — ベイズ最適化によるハイパーパラメーターチューニング

分割数と交差検証 #

分割数 k を動かすと、100 件のうち訓練に使える行数と検証に回す行数の比率がどう変わるか確認できます。外側 5 分割なら各回 80% で学習して 20% で採点する、という比率がそのまま見えます。