K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

学習データとテストデータの区切り

入門

04.1.2

学習データとテストデータの区切り

最終更新 2020-10-07 読了時間 2 分
まとめ
予測モデルの実力は、モデルが一度も見ていない期間で測ります。時系列では train_test_split(shuffle=True) のようにランダムに行を抜くと、テストの日の両隣が学習データに入って「未来を知った」状態になるので、split_point = len(series) - 60 を境に series.iloc[:split_point] を学習、series.iloc[split_point:] をテストとして時間順に切ります。このページでは 240 日のランダムウォークを前 180 日(青)と後ろ 60 日(赤)に分け、ax.axvline(test.index[0], linestyle="--") で境界の点線を引き、ax.text で「テスト開始」と書き込んで、どこから先をモデルに見せていないかを誰が見ても分かる図にします。読み終えると、分割の方針を図 1 枚でチームに共有し、評価の数字が未来のリークで底上げされていないかを確認できるようになります。

時系列ではシャッフルせず、過去から未来へ時間順に分割するのが基本です。区切りを図示して合意を得ましょう。

直感 #

模試の前に問題集で 100 問練習するとき、本番の問題が練習と同じだったら満点でも実力とは言えません。予測モデルも同じで、練習(学習)に使っていない期間で採点しないと本当の力は分かりません。時系列ではさらに「来月の売上を予測する」モデルの評価に来月のデータを練習に混ぜるのはカンニングで、ランダムに抜いたテストの日は 100 日目と 102 日目を知った状態で 101 日目を当てることになり、本番ではあり得ない好成績が出ます。だから区切りは必ず時間の順に 1 本入れ、点線より右をモデルに見せません。

何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:時系列では時間で区切る。ランダムに分けると未来の情報が訓練に混ざる。

Pythonで描いてみる #

次のコードは、500 から始まる 240 日のランダムウォークを作り、最後の 60 日をテストとして iloc で切り分け、学習を青、テストを赤の折れ線で描いて、境界に点線と注記を入れます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

rng = np.random.default_rng(12)
dates = pd.date_range("2020-01-01", periods=240, freq="D")
series = pd.Series(500 + np.cumsum(rng.normal(0, 4, len(dates))), index=dates)

split_point = len(series) - 60
train = series.iloc[:split_point]
test = series.iloc[split_point:]

fig, ax = plt.subplots(figsize=(7, 4))
ax.plot(train.index, train, color="#2563eb", label="学習データ")
ax.plot(test.index, test, color="#ef4444", label="テストデータ")
ax.axvline(test.index[0], color="#475569", linestyle="--", linewidth=1.2)
ax.text(
    test.index[0],
    series.min(),
    "  ← テスト開始",
    color="#475569",
    va="bottom",
)
ax.set_title("時間順の学習・テスト分割")
ax.set_xlabel("日付")
ax.set_ylabel("値")
ax.legend()
ax.grid(alpha=0.3)

fig.tight_layout()
fig.savefig("static/images/timeseries/train_test_split.svg")

学習データとテストデータの区切りの図

実行結果の読み方 #

青い線が 2020 年 1 月 1 日から 180 日分の学習データ、点線の右の赤い線が最後の 60 日分のテストデータです。モデルは青い部分だけで fit され、赤い部分を predict して、実際の赤い線とのズレ(MAE や RMSE)で採点されます。点線の位置を 1 か月ずつ後ろにずらして同じ採点を繰り返すと、「たまたま簡単な 60 日だった」という偶然を減らせます。これが時系列版の交差検証(ウォークフォワード検証)で、ローリング予測の比較 で扱います。

使いどころと落とし穴 #

テスト区間を 60 日のように十分確保できないほど短い系列では、1 回の分割では評価が偶然に左右されるので、区切りをずらして複数回評価するウォークフォワードや TimeSeriesSplit を使います。モデルの設定を選ぶための検証データを追加するときも「学習 → 検証 → テスト」と時間順に並べ、テストデータは最後に 1 回だけ使います。未来の情報は「今日の売上」を予測するのに「今日の天気の実績」を使うような形でも混ざるので、予測の時点で手に入る情報(天気予報)だけを特徴量にしているかを、分割の図とあわせて確認してください。