対象者標準

対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

トレンド処理

入門

04.11.2

トレンド処理

最終更新 2025-11-05 読了時間 5 分

まとめ

周期だけを説明変数にした回帰モデルは、右上がりのトレンドを持つ系列をうまく予測できません。このページでは分母 7・14・28 の 3 本の cos 波にゆるい上昇トレンドを重ねた 720 日の人工データを作り、np.polyfit(deg=2) で推定したトレンド列を XGBRegressor にどう渡すかを 3 通り比べます。トレンドを無視したベースラインの MSE は 2.82 で、トレンドを説明変数に足す戦略 A で改善し、トレンドを引いた残差を学習して予測後に足し戻す戦略 B では 0.46 まで下がります。木モデルは学習範囲の外の値を出せないので、外挿が必要なトレンドは別に扱うのが要点です。

データの状態を把握するで np.polyfit による get_trend 関数と ADF 検定を先に見ておくと、このページの「トレンドを分けて渡す」理由がはっきりします。

直感 #

毎週の曜日パターンと、毎月少しずつ増える売上を同時に持つ店を想像してください。「曜日」だけを入力にしたモデルは「月曜は低く土曜は高い」という形は学べますが、半年後に全体が 10% 上がっていることは入力のどこにも書かれていないので予測できません。特に XGBoost のような木モデルは、学習データで見た値の範囲しか出力できず、右上がりの先を「伸ばす」ことが原理的にできません。そこでトレンドは多項式で別に推定し、入力列として渡すか（戦略 A）、先に引いておいて予測後に足し戻す（戦略 B）かのどちらかにします。

観測値 np.polyfit でトレンドを推定戦略 A: Trend 列を説明変数に追加 XGBRegressor で学習予測

戦略 B 観測値 − Trend を XGBRegressor で学習予測 + Trend

1. ライブラリの準備 #

1
2
3
4
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目pandas は date_range と dt アクセサのため
人工データの日付を pd.date_range で 720 日分作り、df["日付"].dt.weekday などで曜日・通算日を取り出すために使います。日付列が datetime64 型でないと .dt が使えないので、CSV から読む場合は parse_dates を忘れないでください。
3 行目numpy は cos でデータを作り polyfit でトレンドを推定する
np.cos で 7・14・28 日周期の波を作り、np.polyfit と np.poly1d で 2 次多項式のトレンドを推定します。このページの中心になる 2 つの処理がどちらも numpy の関数です。
4 行目seaborn の lineplot は凡例と色を自動で整える
sns.lineplot に label を渡すだけで凡例が付き、2 本重ねたときに色が自動で分かれます。plt.plot でも同じ図は描けますが、予測値と実測値を 4 回重ねて描くこのページでは記述が短くなります。

何が起きているか（ステップで見る） #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント：元データ = トレンド + 季節成分 + 残差。残差に残った大きな山が異常の候補。

2. サンプルデータを作る #

分母を 7・14・28 にした 3 本の cos 波に長期トレンドを重ねた合成データを 2 年分（720 日）作ります。答えを知っているデータなので、後でモデルが「周期は学べたがトレンドは学べなかった」ことを切り分けて確認できます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
date_list = pd.date_range("2021-01-01", periods=720, freq="D")
value_list = [
    10
    + np.cos(np.pi * i / 28.0) * (i % 3 > 0)
    + np.cos(np.pi * i / 14.0) * (i % 5 > 0)
    + np.cos(np.pi * i / 7.0)
    + (i / 10) ** 1.1 / 20
    for i, di in enumerate(date_list)
]

df = pd.DataFrame(
    {
        "日付": date_list,
        "観測値": value_list,
    }
)

df.head(10)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目2021-01-01 から 720 日の日次インデックス
freq="D" で 1 日刻みの日付を 720 個作ります。後で trainN = 500 で切るので、学習が 500 日、テストが 220 日です。freq="W" にすれば週次データの実験に、periods を増やせば長い系列の実験にそのまま流用できます。
4-6 行目3 つの cos 波で周期を作る
np.cos(np.pi * i / 7.0) は周期 14 日、/ 14.0 は 28 日、/ 28.0 は 56 日の波です（\(\cos\) の周期は \(2\pi\) なので分母の 2 倍）。(i % 3 > 0) や (i % 5 > 0) は 3 日ごと・5 日ごとに波を 0 にするスイッチで、きれいな正弦波にならないギザギザを加えています。これを外すと滑らか過ぎて、曜日ダミーだけで完全に説明できてしまいます。
7 行目(i/10)^1.1 / 20 がトレンド
この項が 720 日で 0 から約 5.5 まで増える、わずかに上に凸の上昇トレンドです。指数 1.1 を 1.0 にすれば直線、2.0 にすれば放物線になります。周期成分の振幅が最大 3 なのに対してトレンドは 5.5 まで届くので、無視するとテスト期間の後半で予測が大きく下にずれます。
11-16 行目列名を日本語にした DataFrame
"日付" と "観測値" という日本語列名は、後で sns.lineplot(x=df["日付"], ...) の軸ラベルにそのまま出ます。matplotlib に日本語フォントを設定していないと軸ラベルが豆腐（□）になるので、japanize_matplotlib を import しておきます。

折れ線で形状を確認します。14 日周期の細かい波の上に、右に行くほど全体が持ち上がる形が見えます。

1
2
plt.figure(figsize=(10, 5))
sns.lineplot(x=df["日付"], y=df["観測値"])

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

2 行目720 点を 1 本の線で描く
横軸が datetime64 なので目盛は月単位で自動的に整います。周期 14 日の細かい波と、左端の 10 から右端の 15 付近まで持ち上がるトレンドが同時に見え、「周期だけでは説明できない」ことが図から読み取れます。
1 行目横長にして 2 年分を潰さない
figsize=(10, 5) で 720 点が 1 ピクセルに 1 点弱で並びます。既定サイズだと 14 日周期の波が黒い帯に見えて、周期の存在が分からなくなります。
2 行目plt.show() を省いている
Jupyter では最後の式の戻り値が描画されるので plt.show() なしでも図が出ます。スクリプトとして実行するときは plt.show() を足さないと何も表示されません。

3. トレンド推定のための特徴量を追加 #

周期性を説明する特徴量として、曜日と「通算日を 14・28 で割った余り」を作ります。データを作った周期（14・28・56 日）に対応させた、答えを知っているからこそ選べるダミーです。

1
2
3
df["曜日"] = df["日付"].dt.weekday
df["dayofyear%14"] = df["日付"].dt.dayofyear % 14
df["dayofyear%28"] = df["日付"].dt.dayofyear % 28

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目weekday は月曜 0〜日曜 6
dt.weekday で 0〜6 の整数が得られます。周期 14 日の波は曜日 7 つでは半分しか区別できませんが、木モデルは「曜日」と「%14」を組み合わせて分岐できるので、両方渡しておくと周期を再現しやすくなります。
2-3 行目dayofyear の余りで 14 日・28 日の位相を表す
dt.dayofyear % 14 は「14 日周期の中の何日目か」を 0〜13 で表します。XGBoost にはこの整数をカテゴリではなく数値として渡しますが、木は閾値で分岐するので 0〜13 のどこで山になるかを学べます。注意点は年末年始で、365 は 14 で割り切れないので 1 月 1 日に位相がずれます。2 年分のデータではこのずれが 1 回だけ起きます。
1-3 行目トレンドを表す列はここには入れない
3 列とも周期を表す特徴量で、「何日目か」を表す連番は入れていません。連番を入れると木モデルはそれを使って学習期間内の値を記憶しますが、テスト期間（501 日目以降）の連番は見たことがないので葉の端の値を返すだけになります。トレンドは次の手順で別に推定して扱います。

4. 多項式でトレンドを推定する関数 #

訓練区間（ここでは 500 日）だけで 2 次多項式をフィットし、全 720 日に外挿してトレンド列を得ます。テスト期間を使ってフィットすると「答えを見た」ことになるので、trainN で切るのが重要です。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
def get_trend(timeseries, deg=3, trainN=0):
    """時系列のトレンドを多項式で近似する"""
    if trainN == 0:
        trainN = len(timeseries)

    x = list(range(len(timeseries)))
    y = timeseries.values
    coef = np.polyfit(x[:trainN], y[:trainN], deg)
    trend = np.poly1d(coef)(x)
    return pd.Series(data=trend, index=timeseries.index)

trainN = 500
df["Trend"] = get_trend(df["観測値"], trainN=trainN, deg=2)

plt.figure(figsize=(10, 5))
sns.lineplot(x=df["日付"], y=df["観測値"], alpha=0.5, label="観測値")
sns.lineplot(x=df["日付"], y=df["Trend"], label="Trend")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

3-4 行目trainN=0 なら全期間でフィット
前のページの get_trend に trainN 引数を足した版です。既定の 0 を「全期間」と解釈するので、点検目的なら引数なしで、予測目的なら学習期間の長さを渡します。この分岐がないと、毎回 len(timeseries) を書く必要があります。
8 行目先頭 trainN 点だけで係数を決める
x[:trainN], y[:trainN] で 500 日分だけを polyfit に渡します。ここを x, y にするとテスト期間の値も使って曲線を引くことになり、後の MSE が不当に良くなります（リーク）。実務では「予測時点で手に入っているデータだけ」で係数を決めるという原則そのものです。
9 行目係数は 500 日で決め、曲線は 720 日分に伸ばす
np.poly1d(coef)(x) は全期間の x を渡しているので、501〜720 日目は外挿になります。2 次式の外挿は端で急に曲がることがあるため、deg を 3 以上にするとテスト期間で暴れやすくなります。ここで deg=2 を選んでいるのはその用心です。
12-13 行目deg=2 に下げて外挿を安定させる
関数の既定は deg=3 ですが、呼び出しでは deg=2 にしています。真のトレンドは \((i/10)^{1.1}\) で緩やかに上に凸なので、2 次式で十分に追え、3 次にするとテスト期間の 220 日で曲線が実際より上か下に逸れます。
16-17 行目観測値を半透明にしてトレンド線を見せる
alpha=0.5 で元データを薄くし、トレンド線を濃く重ねます。図ではトレンド線が 14 日周期の波の真ん中を通り、500 日目以降も自然に伸びていれば外挿が妥当だと判断できます。

5. 特徴量とターゲットに分ける #

周期を表す 3 列を X、観測値を y とし、500 日目で学習とテストに分けます。トレンド列も同じ位置で分けておき、戦略 A・B で使います。

1
2
3
4
5
6
7
X = df[["曜日", "dayofyear%14", "dayofyear%28"]]
y = df["観測値"]

trainX, trainy = X[:trainN], y[:trainN]
testX, testy = X[trainN:], y[trainN:]
trend_train = df["Trend"][:trainN]
trend_test = df["Trend"][trainN:]

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目X には Trend を入れない
ベースラインは「周期だけで予測するとどうなるか」を見る実験なので、X は周期の 3 列だけです。ここに "Trend" を足せば戦略 A になります。
4-5 行目時系列は前後で切る、シャッフルしない
train_test_split のようにランダムに分けると、テスト日の前後の日が学習に入って「未来を知っている」状態になります。[:trainN] と [trainN:] で時間順に切ることで、「過去 500 日で学び、未来 220 日を予測する」本番と同じ条件になります。
6-7 行目トレンドも同じ境目で分ける
trend_test は 500 日の学習区間から外挿した 220 日分の曲線で、テスト時に手に入る情報だけで作られています。戦略 B で予測値に足し戻すのはこの trend_test で、testy そのものから計算したトレンドを使うとリークになります。

6. ベースライン: トレンドを弄らず XGBoost で学習 #

周期の 3 列だけで XGBRegressor を学習し、テスト 220 日を予測します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
import xgboost as xgb
from sklearn.metrics import mean_squared_error

regressor = xgb.XGBRegressor(max_depth=5).fit(trainX, trainy)
prediction = regressor.predict(testX)

plt.figure(figsize=(10, 5))
sns.lineplot(x=df["日付"][trainN:], y=prediction)
sns.lineplot(x=df["日付"][trainN:], y=testy)

plt.legend(["予測値", "実測値"], bbox_to_anchor=(0.0, 0.78, 0.28, 0.102))
print(f"MSE = {mean_squared_error(testy, prediction)}")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

4 行目max_depth=5 の木で周期を学ぶ
深さ 5 の木は最大 32 の葉を持ち、曜日 × %14 × %28 の組み合わせで周期の山谷を表現するには十分です。ただし木の出力は葉ごとの定数なので、学習期間に見た 10〜14 程度の値しか返せません。これがトレンドを外挿できない根本原因です。
5 行目テスト 220 日の予測値
predict(testX) が返す 220 個の値は、周期パターンは再現していますが高さが学習期間の平均付近に張り付きます。テスト期間の実測値はトレンドで 1〜2 ほど上にあるので、その差がそのまま誤差になります。
8-9 行目予測と実測を重ねて「高さのずれ」を見る
2 本の線を重ねると、波の形は合っているのに予測値（1 本目）が全体的に下にずれ、右へ行くほど差が広がるのが見えます。形が合って高さだけ外れているときは、特徴量の不足ではなくトレンドの未処理を疑います。
12 行目MSE 2.82 が比較の基準値
mean_squared_error(testy, prediction) は誤差の 2 乗平均で、\(\sqrt{2.82} \approx 1.7\) の誤差が平均的に出ていることを意味します。周期成分の振幅が最大 3 であることを考えると、波の半分以上を外している大きさです。

MSE = 2.8151...

トレンドをそのままにすると、周期の 3 列だけでは右上がりを説明できず、MSE 2.82 と大きな誤差が残ります。

7. 戦略A: トレンド列を外生説明変数として追加 #

多項式トレンドを 4 つ目の説明変数として渡し、木モデルに「トレンドが高いときは値も高い」という分岐を作らせます。

1
2
3
4
5
6
trainX_ext = trainX.assign(Trend=trend_train)
testX_ext = testX.assign(Trend=trend_test)

regressor = xgb.XGBRegressor(max_depth=5).fit(trainX_ext, trainy)
pred_ext = regressor.predict(testX_ext)
print(mean_squared_error(testy, pred_ext))

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1-2 行目assign で Trend 列を足した新しい表を作る
assign(Trend=...) は元の trainX を変えずに列を 1 つ足したコピーを返します。学習側には trend_train、テスト側には外挿した trend_test を入れ、両方とも「予測時に手に入る値」だけで作られていることが重要です。
4 行目木モデルは Trend の閾値で分岐できるが、外挿はできない
学習期間の Trend は 10〜13 程度なので、木は「Trend > 12.5 なら高い値」のような分岐を作ります。しかしテスト期間の Trend が 14 を超えると、どの分岐も「13 以上」の葉に落ちて同じ値を返すため、トレンドの続きを完全には追えません。戦略 A の限界はここにあります。
6 行目MSE はベースラインより下がるが、戦略 B には及びにくい
print される MSE はベースラインの 2.82 より小さくなりますが、上の理由でテスト期間後半の伸びを取り切れません。線形回帰のように入力に比例して出力が伸びるモデルなら戦略 A だけで十分なことも多く、モデルの種類によって向き不向きが変わります。

8. 戦略B: トレンドを取り除いてから学習 #

もっとも手軽なのは、観測値からトレンドを引いた残差を学習し、予測時にトレンドを足し戻す方法です。木モデルには「周期だけ」を任せ、外挿が必要なトレンドは多項式に任せます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
regressor = xgb.XGBRegressor(max_depth=5).fit(trainX, trainy - trend_train)
prediction = regressor.predict(testX)
prediction = [pred_i + trend_i for pred_i, trend_i in zip(prediction, trend_test)]

plt.figure(figsize=(10, 5))
sns.lineplot(x=df["日付"][trainN:], y=prediction)
sns.lineplot(x=df["日付"][trainN:], y=testy)

plt.legend(["予測値（Trendを戻したもの）", "実測値"], bbox_to_anchor=(0.0, 0.78, 0.28, 0.102))
print(f"MSE = {mean_squared_error(testy, prediction)}")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目目的変数を trainy − trend_train にする
学習させるのは「トレンドを引いた残り」で、これは平均 0 付近で上下する周期成分だけの系列です。学習期間とテスト期間で分布が変わらないので、木モデルが得意な「見たことのある範囲」に収まります。X はベースラインと同じ 3 列のままです。
3 行目予測後に外挿したトレンドを足し戻す
pred_i + trend_i で、木が予測した周期成分に多項式の trend_test を加えて元のスケールに戻します。この 1 行を忘れると予測値は 0 付近の波になり、MSE が 100 以上になります。足すトレンドは 500 日で決めた係数からの外挿なので、リークはありません。
6-7 行目予測と実測がほぼ重なる
図では 2 本の線が波の形も高さも一致し、ベースラインで見えた「右へ行くほど離れる」ずれが消えます。残る誤差は (i % 3 > 0) などのスイッチで作った不規則なギザギザの分で、周期の特徴量だけでは説明できない部分です。
10 行目MSE 0.46、ベースラインの 1/6
2.82 から 0.46 へ、誤差は約 6 分の 1 になりました。\(\sqrt{0.46} \approx 0.68\) なので平均的なずれは 0.7 程度で、周期成分の振幅 3 に対して小さい値です。モデルも特徴量も変えず、トレンドの扱いだけでこれだけ変わります。

MSE = 0.4601...

誤差が 2.82 から 0.46 に下がり、同じ XGBRegressor(max_depth=5) でもトレンドの渡し方で結果が 6 倍変わることが分かります。

9. 実務でのヒント #

実データでは、多項式 1 本に頼らず、移動平均やローカル回帰（LOESS、statsmodels の lowess）など複数のトレンド候補を列に持たせておくと、どれか 1 つが外れても全体が崩れにくくなります。学習期間とトレンドのフィット期間は必ず揃え、500 日で学んだモデルに 1,000 日分外挿した多項式を渡すような極端な外挿は避けます。トレンド列を入れた状態でデプロイするなら、日が進むごとに trend_test を再計算する更新ロジックも本番環境に実装しておかないと、固定された古いトレンドを足し続けて予測が徐々にずれます。

10. まとめ #

手順	目的	メモ
トレンド推定（多項式）	長期変動を抽出	過学習に注意
戦略A: トレンドを説明変数に追加	モデルに任せて重み付け	学習対象が単純な場合に有効
戦略B: トレンド除去後に学習	周期・ノイズのみを学習	予測後に足し戻す

XGBRegressor のような木モデルは学習範囲の外の値を出せないので、右上がりのトレンドを持つ系列では MSE 2.82 のベースラインのように予測が下にずれます。np.polyfit(deg=2) を学習期間 500 日だけで当てたトレンドを、説明変数として足す（戦略 A）か、引いてから学習して足し戻す（戦略 B）かで対処でき、この例では戦略 B が MSE 0.46 まで改善しました。トレンドの扱いは前処理ワークフローの最初に組み込み、外挿の期間と更新の仕組みも一緒に決めておきます。

データの状態を把握する — CSV読込後に列型・欠損・重複を点検
STLで季節性とトレンドを分解 — STLによる柔軟な季節・トレンド分離
差分による定常化を比較 — 原系列と差分系列で定常化効果を確認