02.1.4
多項式回帰
PolynomialFeatures で列を増やして LinearRegression に渡すだけで動きます。次数 degree を上げるほど曲線は自由に曲がりますが、訓練データに合わせすぎてデータ範囲の外で暴れるので、交差検証で次数を選ぶか リッジ回帰 を併用します。このページでは 3 次曲線にノイズを足した 200 点に直線と 3 次の多項式を当てはめ、MSE の差と範囲外での振る舞いを比べます。先に 線形回帰 で LinearRegression が残差二乗和を最小にする仕組みを見ておくと、このページで変わるのは「渡す列の数」だけだと分かります。
直感 #
気温と光熱費のように U 字に並ぶデータに直線を引くと、両端でも中央でも点から外れます。多項式回帰は新しいアルゴリズムを使うのではなく、表に \(x^2\) の列、\(x^3\) の列を足してから同じ線形回帰を走らせます。重回帰なら各変数の冪に加えて \(x_1 x_2\) のような交差項も PolynomialFeatures が自動で作りますが、モデルは係数 \(\mathbf{w}\) について線形のままなので、解は反復なしに閉じた式で求まります。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:次数を上げると訓練には合うが、未知データでは途中から悪化する。その分岐点がモデル選択。下のコードの degree=3 は、データを作った真の関数と同じ次数をあえて選んだものです。
式で書くと何が変わるか #
変わるのは入力 \(x\) の置き換えだけで、損失は同じ残差二乗和です。入力ベクトル \(\mathbf{x} = (x_1, \dots, x_m)\) に対して次数 \(d\) の多項式基底 \(\phi(\mathbf{x})\) を作り、線形回帰を行います。例えば \(m = 2, d = 2\) なら
$$ \phi(\mathbf{x}) = (1, x_1, x_2, x_1^2, x_1 x_2, x_2^2) $$となり、モデルは
$$ y = \mathbf{w}^\top \phi(\mathbf{x}) $$で表されます。\(\phi\) の各成分が図の「曲がり」を担う部品で、\(x_1^2\) の係数が放物線の開き具合、\(x_1 x_2\) の係数が 2 変数の相互作用を表します。次数 \(d\) を増やすと特徴量の数は \(m = 10, d = 3\) で 286 列まで膨らむため、実務では 2〜3 次から試し、必要に応じてリッジ回帰を併用します。
Pythonを用いた実験や説明 #
次のコードは、真の関係 \(y = 0.5x^3 - 1.2x^2 + 2x + 1.5\) に標準偏差 2.0 のノイズを足した 200 点を作り、LinearRegression だけの直線と、PolynomialFeatures(degree=3) を前に置いた 3 次の曲線を同じ図に重ねます。訓練データの MSE を 2 つ並べて、曲線にした効果を数値でも確認します。
| |

結果の読み方 #
青の破線(直線)は S 字の中央付近で点から大きく外れ、linear_mse はノイズ分散 4.0 よりかなり大きくなります。赤の 3 次曲線は緑の真の曲線にほぼ重なり、poly_mse はノイズ分散 4.0 に近い値まで下がります。この差が「列を 3 本に増やしただけ」で得られる効果です。ただし両端 \(x = \pm 3.5\) では赤が緑から離れ始めていて、データ範囲の外で多項式が信用できないことも同じ図から読めます。
使いどころと落とし穴 #
散布図を見て 1〜2 回曲がる滑らかな関係なら、degree=2 か 3 の多項式回帰が最初の候補です。落とし穴は 3 つあります。1 つ目は次数の選び方で、訓練 MSE だけを見ると次数は上げるほど良く見えるため、cross_val_score で選びます。2 つ目はスケールで、\(x\) が 1000 のオーダーだと \(x^3\) は \(10^9\) になり係数の推定が不安定になるので、StandardScaler を PolynomialFeatures の前に置きます。3 つ目は外挿で、データ範囲の外では多項式は必ず \(\pm\infty\) に向かうため、範囲外の予測が必要なら SVR など別の手法を検討します。
次数と回帰曲線 #
多項式の次数を変えると、フィッティングの柔軟さと過学習リスクがどう変わるか確認できます。
参考文献 #
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.