K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

ローリング予測の比較

中級

04.5.5

ローリング予測の比較

最終更新 2020-05-06 読了時間 2 分
まとめ
ウォークフォワード検証は、「ここまでのデータで学習し、直後の数日を予測して当たり外れを測る」という作業を、予測の原点を少しずつ未来へ進めながら何度も繰り返す評価法です。時系列では未来のデータを学習に混ぜてはいけないので、ランダムに分割する交差検証の代わりにこの方法を使います。このページでは 300 日の人工データに対して、学習窓 90 日・予測 7 日先・原点の刻み 21 日という設定で 10 回の予測を行い、「直前の値をそのまま伸ばす」ナイーブ予測の水平線を実測値に重ねて描きます。読み終えると、window・horizon・step の 3 つの数が図のどこに現れるかが分かり、原点ごとの誤差を並べて「どの時期に外れやすいか」を議論できるようになります。

学習・テストデータの分割 で扱う「時系列は時間順に分割する」考え方を先に学ぶと理解がスムーズです。

直感 #

来週の売上を予測するモデルを作ったとして、その精度を 1 回のテストだけで信じるのは危険です。たまたまノイズの小さい週で当たっただけかもしれません。そこで「1 月末までで学習して 2 月の第 1 週を予測」「2 月 21 日までで学習して直後の 7 日を予測」と、原点を 21 日ずつ進めながら同じ検証を 10 回繰り返します。こうすると誤差が 10 個手に入り、平均だけでなく「どの時期に大きく外れたか」まで見えます。重要なのは、どの回でも学習に使うのは原点より前の 90 日だけで、原点より後の値は一切のぞかないことです。

何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:時系列の検証は原点を進めながら繰り返す。青の訓練区間が原点より右へ出ることはなく、未来のデータを訓練に入れない。橙のテスト区間の誤差を原点ごとに記録していく。

Python でウォークフォワードを図にする #

次のコードは、1 日 0.1 の上昇に周期 30 日の波(振幅 6)とノイズ(標準偏差 1.8)を足した 300 日の系列を作り、原点を 90 日目から 21 日刻みで進めながら「学習窓の最後の値をそのまま 7 日伸ばす」ナイーブ予測を橙の水平線で描きます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

rng = np.random.default_rng(4)
dates = pd.date_range("2021-01-01", periods=300, freq="D")
trend = 0.1 * np.arange(len(dates))
seasonal = 6 * np.sin(2 * np.pi * np.arange(len(dates)) / 30)
noise = rng.normal(0, 1.8, size=len(dates))
series = pd.Series(120 + trend + seasonal + noise, index=dates)

window = 90
horizon = 7
step = 21

fig, ax = plt.subplots(figsize=(7, 4))
ax.plot(series.index, series, color="#1d4ed8", linewidth=1.2, label="実測値")

for origin in range(window, len(series) - horizon, step):
    train = series.iloc[origin - window : origin]
    forecast_dates = series.index[origin : origin + horizon]
    naive_forecast = np.full(horizon, train.iloc[-1])
    ax.plot(
        forecast_dates,
        naive_forecast,
        color="#f97316",
        linewidth=1.2,
        alpha=0.7,
    )
    ax.scatter(
        forecast_dates[-1],
        naive_forecast[-1],
        color="#f97316",
        s=24,
    )

ax.set_title("ウォークフォワード検証のイメージ")
ax.set_xlabel("日付")
ax.set_ylabel("数値")
ax.legend(loc="upper left")
ax.grid(alpha=0.3)

fig.tight_layout()
fig.savefig("static/images/timeseries/rolling_forecast.svg")

ローリング予測の比較

実行結果の読み方 #

青の実測値は 120 付近から 150 付近(120 + 0.1 × 299 ≈ 150)へ上がりながら、周期 30 日の波を 10 回描きます。その上に乗った 10 本の短い橙の水平線がナイーブ予測で、各線の左端が原点、右端の丸が 7 日先の予測値です。原点が波の山や谷の近くにある回は 7 日間の変化が小さいので、水平線と青線のずれは 1 前後に収まります。一方、原点が波の斜面にある回は 7 日で 6 近く動くため、丸印が実測から大きく離れます。この「外れやすい回」が周期 30 日に沿って並ぶことが読み取れたら、季節性を持つモデルに替える根拠になります。

使いどころと落とし穴 #

ウォークフォワードで比べるべきは「モデル同士の原点ごとの誤差」であり、1 回の平均値ではありません。ナイーブ予測より ARIMA(2,1,1) が 10 回中 9 回で誤差が小さいなら採用の根拠になりますが、3 回だけ大きく当たって平均が良いだけなら安定性に欠けます。固定窓の window=90 は「古い構造を忘れる」利点がある一方で、90 日より長い季節性(年次など)は学習できません。step を小さくして回数を増やすと誤差の分布は細かく見えますが、隣り合う回の学習データが大部分重なるため、独立な 10 回の試行とは見なせない点にも注意してください。