02.1.5
Elastic Net 回帰
l1_ratio の比率で混ぜた線形回帰です。L1 の働きで不要な係数は 0 になり、L2 の働きで相関の強い特徴量群はまとめて残るので、「変数を減らしたいが相関した列を 1 本だけ残すのは怖い」場面に向きます。このページでは 30 個の特徴量に相関の強い複製 5 本を足した 35 次元データを作り、ElasticNetCV で \(\alpha\) と l1_ratio を 5 分割交差検証で同時に選びます。読み終えると、l1_ratio を 0 から 1 へ動かしたときに係数の棒グラフがどう変わるかを予想できるようになります。先に リッジ回帰とラッソ回帰 で L1 罰則が係数を 0 にし、L2 罰則が係数を縮める違いを押さえておくと、l1_ratio の意味が一度で分かります。
直感 #
ラッソ回帰は係数を 0 にして特徴量を選びますが、ほぼ同じ情報を持つ列が 5 本あると、そのうち 1 本だけを残して残り 4 本を落とします。どの 1 本が残るかはノイズ次第で、データを少し変えると選ばれる列が入れ替わります。リッジ回帰は 5 本に似た大きさの係数を配って安定しますが、係数は 0 になりません。Elastic Net は目的関数に両方の罰則を足し、相関した 5 本をグループとして残しつつ、関係のない列の係数は 0 に落とします。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:罰則 α を強めるほど係数が縮み、曲線が暴れなくなる。強すぎると当てはまりが悪くなる。Elastic Net ではこの α に加えて、縮め方を「0 にする(L1)」か「小さくする(L2)」かの比率 l1_ratio も選びます。
式で書くと何を最小にしているか #
残差二乗和に 2 種類の罰則を足したものが目的関数です。第 1 項が当てはまりの悪さ、第 2 項の \(\rho\) 側が係数を 0 にする力、\(1-\rho\) 側が係数を小さく保つ力に対応します。
$$ \min_{\boldsymbol\beta, b} \sum_{i=1}^{n} \left( y_i - (\boldsymbol\beta^\top \mathbf{x}_i + b) \right)^2 + \alpha \left( \rho \lVert \boldsymbol\beta \rVert_1 + (1 - \rho) \lVert \boldsymbol\beta \rVert_2^2 \right) $$で、\(\alpha > 0\) が正則化の強さ、\(\rho \in [0,1]\) (l1_ratio) が L1 と L2 の混合比率です。\(\rho = 1\) ならラッソ、\(\rho = 0\) ならリッジと同じ式になり、その中間を l1_ratio の値で連続的に探索できます。
Pythonを用いた実験や説明 #
次のコードは、make_regression で作った 30 特徴量(有効なのは 10 個)に、先頭 5 列へ小さなノイズを足した複製を加えて 35 次元の相関データを作ります。ElasticNetCV が 6 通りの l1_ratio と 30 通りの \(\alpha\) を 5 分割交差検証で比べ、選ばれた組み合わせで学習した ElasticNet の予測と係数を 2 枚の図に描きます。
| |
実行結果の読み方 #
左の散布図は横軸が予測値、縦軸が実測値で、点が赤い破線 \(y = x\) に沿っていれば予測が当たっています。test_r2 が train_r2 と近ければ過学習は起きていません。右の棒グラフでは、元の列と複製の列が似た高さで並ぶかを見ます。best_l1_ratio が 1.0 より小さい値で選ばれていれば、L2 罰則を混ぜた方が交差検証の誤差が小さかったことを意味します。
使いどころと落とし穴 #
特徴量が数十本以上あり、しかも相関の強いグループが含まれるときが Elastic Net の出番です。相関がほとんどないなら ラッソ で十分で、l1_ratio=1.0 が選ばれます。落とし穴は 2 つあります。1 つ目はスケールで、列ごとの単位が違うと罰則の効き方が列ごとに変わるので、StandardScaler を Pipeline で前に置きます。2 つ目は収束で、ConvergenceWarning が出たら max_iter を増やすか \(\alpha\) の下限を上げます。
参考文献 #
- Zou, H., & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.
- Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization Paths for Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, 33(1), 1–22.
Lasso の係数パス #
正則化係数 α を変えると各特徴量の係数がゼロに収束していく様子を確認できます。