02.1.6
ベイズ線形回帰
BayesianRidge は事前分布の精度 \(\tau\) とノイズ精度 \(\alpha\) もデータから推定するので、引数なしで動かせます。このページでは外れ値 6 点を混ぜた 120 点の一次関数データで、最小二乗法の直線とベイズ平均の直線、その信頼区間を重ねて比較します。先に 線形回帰 で最小二乗法が残差二乗和を最小にしていることを確認しておくと、このページの「尤度を最大にする」が同じ操作だと分かります。
直感 #
最小二乗法は「いちばんありそうな傾きと切片」を 1 組だけ返しますが、120 点のうち 6 点が外れ値のデータでは、その 1 組をどこまで信用できるかが分かりません。ベイズ線形回帰は、傾きの候補すべてに「データを見る前の確からしさ(事前分布)」を置き、観測した点と合う候補ほど確からしさを高めていきます。結果として係数は 1 点ではなく分布になります。図には事後平均の直線と、その周りに広がる 95% の帯が描かれ、帯が細い区間はデータが密で自信がある場所、端に行くほど帯が広がるのはデータが少ない場所です。
式で書くと何を計算しているか #
記号を出す前に一言でいうと、事後分布の平均 \(\boldsymbol\mu\) が図の緑の直線、共分散 \(\mathbf{\Sigma}\) が帯の幅を決めます。係数ベクトル \(\boldsymbol\beta\) に平均 0、分散 \(\tau^{-1}\) の多変量ガウス事前分布を置き、観測ノイズ \(\epsilon_i \sim \mathcal{N}(0, \alpha^{-1})\) を仮定すると、事後分布は
$$ p(\boldsymbol\beta \mid \mathbf{X}, \mathbf{y}) = \mathcal{N}(\boldsymbol\beta \mid \boldsymbol\mu, \mathbf{\Sigma}) $$となります。ここで
$$ \mathbf{\Sigma} = (\alpha \mathbf{X}^\top \mathbf{X} + \tau \mathbf{I})^{-1}, \qquad \boldsymbol\mu = \alpha \mathbf{\Sigma} \mathbf{X}^\top \mathbf{y} $$です。\(\tau\) が大きい(事前分布が狭い)ほど \(\boldsymbol\mu\) は 0 に引き寄せられ、これはリッジ回帰の罰則と同じ働きです。予測分布もガウス形となり、入力 \(\mathbf{x}*\) に対して \(\mathcal{N}(\hat{y}, \sigma_^2)\) が得られます。scikit-learn の BayesianRidge は \(\alpha\) と \(\tau\) もデータから推定するため、引数を 1 つも指定せずにこの枠組みを使えます。
Pythonを用いた実験や説明 #
次のコードは、真の関係 \(y = 1.8x - 0.5\) に標準偏差 1.0 のノイズを足した 120 点のうち 6 点だけを標準偏差 8.0 で大きくずらし、LinearRegression の直線(破線)と BayesianRidge の事後平均(緑の実線)、その 95% 信頼区間の帯を 1 枚に重ねます。
| |

実行結果の読み方 #
破線(最小二乗法)と緑の実線(ベイズ平均)はほぼ重なります。120 点もあれば事前分布の影響はごく小さく、coef_mean は真の傾き 1.8 の近くに来ます。注目するのは緑の帯で、観測点がある \([-4, 4]\) の中では細く、格子の両端 \(\pm 6\) に向かって広がります。この広がりがベイズ線形回帰だけが出せる情報で、「このあたりの予測はあまり信用できない」と図から読めます。coef_std を見れば傾き 1 つ分の不確実性も数値で確認できます。
使いどころと落とし穴 #
データが 20〜30 点しかない、あるいは予測の「自信の度合い」を出力に含めたいときに BayesianRidge を選びます。ただしノイズはガウス分布と仮定しているので、外れ値そのものに強いわけではありません。外れ値が多いなら ロバスト回帰 が先です。係数が 0 に引き寄せられる仕組みは リッジ回帰 と同じで、BayesianRidge は罰則の強さ \(\tau / \alpha\) を交差検証なしにデータから決めてくれる版だと考えると位置づけが分かります。
次数と予測の不確実性 #
スライダーで多項式基底の次数を 1、2、3、5、8 と変えると、予測の平均(線)と 95% 信頼区間(帯)がどう変わるかを確認できます。次数を上げるほど MSE は下がりますが、データのない両端で帯が急に広がる点に注目してください。
参考文献 #
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.