Nested CV

1. 仕組み #

1. 外側ループ：データを K_outer 分割し、各分割をテストセットとして保持。
2. 内側ループ：残りのデータで K_inner の交差検証を行い、グリッドサーチやランダムサーチで最適ハイパーパラメータを選択。
3. 評価：選ばれたハイパーパラメータで再学習し、外側ループのテストセットでスコアを計算。 これを K_outer 回繰り返し、スコアの平均と分散を算出します。

2. Python での実装例 #

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

from sklearn.model_selection import GridSearchCV, cross_val_score, KFold
from sklearn.ensemble import RandomForestClassifier
param_grid = {
    "n_estimators": [100, 200],
    "max_depth": [None, 10, 20],
}
inner_cv = KFold(n_splits=3, shuffle=True, random_state=0)
outer_cv = KFold(n_splits=5, shuffle=True, random_state=1)
grid = GridSearchCV(
    RandomForestClassifier(random_state=0),
    param_grid=param_grid,
    cv=inner_cv,
    scoring="roc_auc",
    n_jobs=-1,
)
scores = cross_val_score(grid, X, y, cv=outer_cv, scoring="roc_auc", n_jobs=-1)
print("Nested CV ROC-AUC:", scores.mean(), "+/-", scores.std())

cross_val_score にサーチオブジェクトを渡すだけでネステッド CV を実行できます。

3. 利点 #

• ハイパーパラメータ調整のリークを防ぐ：同じデータでチューニングと評価を行うことによる過大評価を防止。
• 複数モデルの公平な比較：モデルごとに最適なハイパーパラメータを選びつつ、汎化性能を同じ条件で比較できる。
• 分散の推定：外側ループのスコアを用いて性能分散を推定し、信頼区間を計算できる。

4. 注意点 #

• 計算コストが高い：K_outer × K_inner 回モデルを学習するため、モデルが重い場合は時間がかかる。

• グリッドサーチの範囲を広げすぎると現実的な時間で終わらない。ランダムサーチやベイズ最適化を検討する。

• データサイズが小さい場合は、分割を工夫したり、過剰な CV を避ける。

5. 実務でのヒント #

• 小規模データ：データが少ないほどハイパーパラメータ調整のリークが問題になりやすく、ネステッド CV の価値が高い。
• 主要モデルのみ：全モデルで実施すると時間がかかるため、候補を絞った上でネステッド CV を実行する。
• 報告書への記載：探索範囲や分割数を明記し、過学習リスクを適切に管理したことを示す。

まとめ #

• ネステッド交差検証はハイパーパラメータ探索を組み込んだ汎化性能推定法で、過大評価を防げる。

• GridSearchCV と cross_val_score を組み合わせるだけで実装できるが、計算コストには注意。

• 重要なモデルの最終評価に用い、信頼できる性能指標を報告しよう。

分割数と交差検証 #

分割数 k を変えると訓練・検証の比率がどう変わるか確認できます。