K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

ベイズ線形回帰

上級

02.1.6

ベイズ線形回帰

最終更新 2020-04-08 読了時間 4 分
まとめ
ベイズ線形回帰は、傾きと切片を 1 つの値ではなく確率分布として推定する線形回帰です。事前分布 \(\mathcal{N}(0, \tau^{-1})\) と観測データの尤度を掛け合わせた事後分布から、予測値の平均と 95% 信頼区間の幅を同時に得ます。scikit-learn の BayesianRidge は事前分布の精度 \(\tau\) とノイズ精度 \(\alpha\) もデータから推定するので、引数なしで動かせます。このページでは外れ値 6 点を混ぜた 120 点の一次関数データで、最小二乗法の直線とベイズ平均の直線、その信頼区間を重ねて比較します。

先に 線形回帰 で最小二乗法が残差二乗和を最小にしていることを確認しておくと、このページの「尤度を最大にする」が同じ操作だと分かります。

直感 #

最小二乗法は「いちばんありそうな傾きと切片」を 1 組だけ返しますが、120 点のうち 6 点が外れ値のデータでは、その 1 組をどこまで信用できるかが分かりません。ベイズ線形回帰は、傾きの候補すべてに「データを見る前の確からしさ(事前分布)」を置き、観測した点と合う候補ほど確からしさを高めていきます。結果として係数は 1 点ではなく分布になります。図には事後平均の直線と、その周りに広がる 95% の帯が描かれ、帯が細い区間はデータが密で自信がある場所、端に行くほど帯が広がるのはデータが少ない場所です。

式で書くと何を計算しているか #

記号を出す前に一言でいうと、事後分布の平均 \(\boldsymbol\mu\) が図の緑の直線、共分散 \(\mathbf{\Sigma}\) が帯の幅を決めます。係数ベクトル \(\boldsymbol\beta\) に平均 0、分散 \(\tau^{-1}\) の多変量ガウス事前分布を置き、観測ノイズ \(\epsilon_i \sim \mathcal{N}(0, \alpha^{-1})\) を仮定すると、事後分布は

$$ p(\boldsymbol\beta \mid \mathbf{X}, \mathbf{y}) = \mathcal{N}(\boldsymbol\beta \mid \boldsymbol\mu, \mathbf{\Sigma}) $$

となります。ここで

$$ \mathbf{\Sigma} = (\alpha \mathbf{X}^\top \mathbf{X} + \tau \mathbf{I})^{-1}, \qquad \boldsymbol\mu = \alpha \mathbf{\Sigma} \mathbf{X}^\top \mathbf{y} $$

です。\(\tau\) が大きい(事前分布が狭い)ほど \(\boldsymbol\mu\) は 0 に引き寄せられ、これはリッジ回帰の罰則と同じ働きです。予測分布もガウス形となり、入力 \(\mathbf{x}*\) に対して \(\mathcal{N}(\hat{y}, \sigma_^2)\) が得られます。scikit-learn の BayesianRidge は \(\alpha\) と \(\tau\) もデータから推定するため、引数を 1 つも指定せずにこの枠組みを使えます。

Pythonを用いた実験や説明 #

次のコードは、真の関係 \(y = 1.8x - 0.5\) に標準偏差 1.0 のノイズを足した 120 点のうち 6 点だけを標準偏差 8.0 で大きくずらし、LinearRegression の直線(破線)と BayesianRidge の事後平均(緑の実線)、その 95% 信頼区間の帯を 1 枚に重ねます。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
from __future__ import annotations

import matplotlib.pyplot as plt
import numpy as np
from sklearn.linear_model import BayesianRidge, LinearRegression
from sklearn.metrics import mean_squared_error

def run_bayesian_linear_demo(
    n_samples: int = 120,
    noise_scale: float = 1.0,
    outlier_count: int = 6,
    outlier_scale: float = 8.0,
    label_observations: str = "observations",
    label_ols: str = "OLS",
    label_bayes: str = "Bayesian mean",
    label_interval: str = "95% CI",
    xlabel: str = "input $",
    ylabel: str = "output $",
    title: str | None = None,
) -> dict[str, float]:
    """Fit OLS and Bayesian ridge to noisy data with outliers, plotting results.

    Args:
        n_samples: Number of evenly spaced sample points.
        noise_scale: Standard deviation of Gaussian noise added to the base line.
        outlier_count: Number of indices to perturb strongly.
        outlier_scale: Standard deviation for the outlier noise.
        label_observations: Legend label for observations.
        label_ols: Label for the ordinary least squares line.
        label_bayes: Label for the Bayesian posterior mean line.
        label_interval: Label for the confidence interval band.
        xlabel: X-axis label.
        ylabel: Y-axis label.
        title: Optional plot title.

    Returns:
        Dictionary containing MSEs and coefficients statistics.
    """
    rng = np.random.default_rng(seed=0)

    x_values: np.ndarray = np.linspace(-4.0, 4.0, n_samples, dtype=float)
    y_clean: np.ndarray = 1.8 * x_values - 0.5
    y_noisy: np.ndarray = y_clean + rng.normal(scale=noise_scale, size=x_values.shape)

    outlier_idx = rng.choice(n_samples, size=outlier_count, replace=False)
    y_noisy[outlier_idx] += rng.normal(scale=outlier_scale, size=outlier_idx.shape)

    X: np.ndarray = x_values[:, np.newaxis]

    ols = LinearRegression()
    ols.fit(X, y_noisy)
    bayes = BayesianRidge(compute_score=True)
    bayes.fit(X, y_noisy)

    X_grid: np.ndarray = np.linspace(-6.0, 6.0, 200, dtype=float)[:, np.newaxis]
    ols_mean: np.ndarray = ols.predict(X_grid)
    bayes_mean, bayes_std = bayes.predict(X_grid, return_std=True)

    metrics = {
        "ols_mse": float(mean_squared_error(y_noisy, ols.predict(X))),
        "bayes_mse": float(mean_squared_error(y_noisy, bayes.predict(X))),
        "coef_mean": float(bayes.coef_[0]),
        "coef_std": float(np.sqrt(bayes.sigma_[0, 0])),
    }

    upper = bayes_mean + 1.96 * bayes_std
    lower = bayes_mean - 1.96 * bayes_std

    fig, ax = plt.subplots(figsize=(10, 5))
    ax.scatter(X, y_noisy, color="#ff7f0e", alpha=0.6, label=label_observations)
    ax.plot(X_grid, ols_mean, color="#1f77b4", linestyle="--", label=label_ols)
    ax.plot(X_grid, bayes_mean, color="#2ca02c", linewidth=2, label=label_bayes)
    ax.fill_between(
        X_grid.ravel(),
        lower,
        upper,
        color="#2ca02c",
        alpha=0.2,
        label=label_interval,
    )
    ax.set_xlabel(xlabel)
    ax.set_ylabel(ylabel)
    if title:
        ax.set_title(title)
    ax.legend()
    fig.tight_layout()
    plt.show()

    return metrics

metrics = run_bayesian_linear_demo(
    label_observations="観測データ",
    label_ols="最小二乗法",
    label_bayes="ベイズ平均",
    label_interval="95% 信頼区間",
    xlabel="入力 $",
    ylabel="出力 $",
    title="ベイズ回帰とOLSの比較",
)
print(f"OLSのMSE: {metrics['ols_mse']:.3f}")
print(f"ベイズ回帰のMSE: {metrics['bayes_mse']:.3f}")
print(f"係数の事後平均: {metrics['coef_mean']:.3f}")
print(f"係数の事後標準偏差: {metrics['coef_std']:.3f}")

外れ値を含む一次関数データで、最尤推定による線形回帰とベイズ線形回帰を比較しますの図

実行結果の読み方 #

破線(最小二乗法)と緑の実線(ベイズ平均)はほぼ重なります。120 点もあれば事前分布の影響はごく小さく、coef_mean は真の傾き 1.8 の近くに来ます。注目するのは緑の帯で、観測点がある \([-4, 4]\) の中では細く、格子の両端 \(\pm 6\) に向かって広がります。この広がりがベイズ線形回帰だけが出せる情報で、「このあたりの予測はあまり信用できない」と図から読めます。coef_std を見れば傾き 1 つ分の不確実性も数値で確認できます。

使いどころと落とし穴 #

データが 20〜30 点しかない、あるいは予測の「自信の度合い」を出力に含めたいときに BayesianRidge を選びます。ただしノイズはガウス分布と仮定しているので、外れ値そのものに強いわけではありません。外れ値が多いなら ロバスト回帰 が先です。係数が 0 に引き寄せられる仕組みは リッジ回帰 と同じで、BayesianRidge は罰則の強さ \(\tau / \alpha\) を交差検証なしにデータから決めてくれる版だと考えると位置づけが分かります。

次数と予測の不確実性 #

スライダーで多項式基底の次数を 1、2、3、5、8 と変えると、予測の平均(線)と 95% 信頼区間(帯)がどう変わるかを確認できます。次数を上げるほど MSE は下がりますが、データのない両端で帯が急に広がる点に注目してください。

参考文献 #

  • Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  • Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.