03.2.8
説明分散(Explained Variance)
explained_variance_score(y_test, y_pred) の 1 行です。決定係数(R²) の式 \(1 - \sum(y - \hat{y})^2 / \sum(y - \bar{y})^2\) を先に押さえると、説明分散との違いが「分子を分散に替えただけ」だと分かります。
直感:形は合っているが高さがずれている予測 #
気温の予測モデルが、毎日ちょうど 2 ℃ 高めに予測しているとします。日ごとの上下の動きは完璧に捉えているので、誤差は毎日 +2 で一定です。\(R^2\) は誤差の二乗 4 を分子に数えるので 1 より小さくなりますが、説明分散は誤差の「ばらつき」を見るので、誤差が一定なら分散 0、スコアは 1.0 です。つまり説明分散は「変動の形を説明できたか」だけを測り、「全体の高さが合っているか」は見ません。高さのずれは MBE(平均バイアス誤差)で別に測る、という分担になります。
定義 #
観測値の分散を \(\mathrm{Var}(y)\)、予測誤差の分散を \(\mathrm{Var}(y - \hat{y})\) とすると、説明分散スコアは次の式です。
$$ \mathrm{Explained\ Variance} = 1 - \frac{\mathrm{Var}(y - \hat{y})}{\mathrm{Var}(y)} $$値は 1 に近いほど良く、0 なら誤差のばらつきが \(y\) のばらつきと同じで平均的な予測と同等、負の値は平均予測よりも悪いことを意味します。\(R^2\) の分子 \(\frac{1}{n}\sum(y - \hat{y})^2\) は「誤差の分散 + 誤差の平均の二乗」に分解できるので、誤差の平均(バイアス)が 0 なら 2 つの指標は一致し、バイアスがあれば説明分散のほうが \(R^2\) より大きくなります。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:R² は「平均で予測したときの誤差」に対して、どれだけ誤差(正方形の面積)を減らせたか。説明分散は正方形の面積から「誤差の平均の二乗」を差し引いた残りだけを数えます。
Python で計算 #
テストデータの実測値 y_test と、学習済みモデルの予測 y_pred が手元にある状態で、scikit-learn の関数を呼びます。
| |
scikit-learn の explained_variance_score は複数出力(multi-output)にも対応しており、multioutput="raw_values" で各出力ごとのスコアを得られます。
R² との違い #
違いはバイアスへの感度にあります。\(R^2\) は誤差の平均値にも敏感で、予測が全体に 10 ずれていれば分子の二乗和に 100 × n が加わって下がりますが、説明分散は平均誤差には影響されず、分散だけを評価します。予測の平均的なずれよりも、目的変数のばらつきをどれだけ説明できたかを見たいときには Explained Variance が適しています。実務では \(R^2\) と一緒に報告し、2 つの差からモデルの「分散説明力」と「全体適合度」を両面から確認します。
実務での活用 #
リスク予測では、目標値の振れ幅(分散)を捉えられているかを確かめたいときに説明分散を見ます。複数出力回帰では、multioutput="raw_values" で出力ごとの説明分散を並べ、どの出力の変動が説明しにくいかを特定します。予測が全体的にずれていても説明分散は高くなるため、MAE や MBE と併用してバイアスの確認を忘れないようにします。
他指標との併用 #
| 指標 | 焦点 | 説明 |
|---|---|---|
| R² | 全体適合度 | バイアスと分散の両方に敏感 |
| Explained Variance | 分散説明力 | 誤差の平均値には鈍感 |
| MAE / RMSE | 絶対誤差 | 実際のズレを直接把握 |
ノイズと説明分散 #
ノイズ量を 0 から 3.0 まで動かすと、説明分散や R² などの各指標がどう変化するか確認できます。ノイズに平均的な偏りがなければ、説明分散と R² はほぼ同じ値で下がっていきます。
まとめ #
説明分散スコアは \(1 - \mathrm{Var}(y - \hat{y}) / \mathrm{Var}(y)\) で、目的変数の変動のうちモデルが捉えた割合を表し、誤差の平均(バイアス)には影響されない点で \(R^2\) と補い合います。誤差の平均が 0 なら \(R^2\) と一致し、予測が全体に 10 ずれていると \(R^2\) だけが下がるので、2 つの差がバイアスの大きさの手がかりになります。explained_variance_score(y_test, y_pred) で計算でき、multioutput="raw_values" でマルチ出力にも対応します。「高さ」のずれは MAE・RMSE や MBE で別に測り、分散と平均の両側面からモデルを評価します。