R² が負になることはある？

あります。テストセットで予測が平均値を返すよりも悪い場合、R² は負になります。これは『目的変数の平均値より予測が悪い』ことを意味し、モデルが学習データから本質を捉えられていない兆候です。

R² と相関係数の関係は？

単回帰の場合、R² は相関係数の二乗です。重回帰では決定係数として独立に計算され、特徴量を増やすほど常に R² は増加するため、過学習に注意が必要です。

Adjusted R² と通常の R² の違いは？

Adjusted R² は特徴量数に応じてペナルティを与え、無意味な特徴量を増やしても値が上がらないようにします。重回帰でモデルの良し悪しを比較するなら Adjusted R² が推奨です。

決定係数

入門

03.2.2

決定係数

Name: 決定係数
Uploaded: 2020-02-12
Description: 決定係数 R² が「平均で予測したときの誤差」に対して誤差をどれだけ減らせたかを表す仕組みを、make_regression のデータに RandomForestRegressor を当てて r2_score が高い例・低い例・目的変数をシャッフルして負になる例を描き、ノイズを変えた 100 回の線形回帰で R² の分布を見る実験で解説します。

最終更新 2020-02-12 読了時間 5 分

まとめ

決定係数 $R^2$ は、「毎回平均値 $\bar{y}$ を答える」という最も単純な予測と比べて、モデルが残差二乗和をどれだけ減らせたかの割合です。$R^2 = 1 - \sum(y_i - \hat{y}_i)^2 / \sum(y_i - \bar{y})^2$ で定義され、1 なら誤差 0、0 なら平均予測と同じ、負なら平均を答えるより悪い予測を意味します。単位を持たないので「ばらつきの 93% を説明した」と読め、r2_score(y_test, y_pred) の 1 行で計算できます。特徴量を増やすと学習データ上の $R^2$ は必ず上がるので、テストデータで測るか自由度調整済み R² と並べて見るのが基本です。

直感：「平均を答える」と比べてどれだけ良いか #

気温からアイスの売上を予測するモデルの誤差が「平均 3 個」だと言われても、売上が毎日 50〜60 個の店と 10〜200 個の店では意味が違います。そこで、モデルを作らずに毎日「平均の売上」を答えたときの誤差を基準にします。平均予測の残差二乗和が 1,000、モデルの残差二乗和が 70 なら、$R^2 = 1 - 70/1000 = 0.93$ で「ばらつきの 93% を説明できた」と読みます。モデルの残差が平均予測の残差より大きければ分数が 1 を超え、$R^2$ は負になります。

定義 #

決定係数 $R^2$ は、平均予測というベースラインに比べて誤差がどれだけ減ったかを測ります。

$$ R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2} $$

分子はモデルの残差二乗和、分母は平均 $\bar{y}$ からのずれの二乗和（分散 × n）です。$R^2 = 1$ は分子が 0、つまり誤差 0 で完全に当てている状態、$R^2 = 0$ は分子と分母が等しく平均だけを予測したのと同じ状態、$R^2 < 0$ は平均よりも誤差が大きくモデルが悪化している状態です。学習データ上では特徴量を増やすと分子は単調に小さくなるため、$R^2$ は過学習しても上がり続ける点に注意が必要です。

何が起きているか（ステップで見る） #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント：R² は「平均で予測したときの誤差」に対して、どれだけ誤差（正方形の面積）を減らせたか。

Python で計算する #

sklearn.metrics.r2_score を使います。説明変数 20 個のうち 3 個だけが目的変数に効く 1,000 件のデータを生成し、ランダムフォレスト回帰で学習して、テストデータの実測値と予測値の散布図に $R^2$ を表示します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import make_regression
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split

RANDOM_STATE = 42

X, y = make_regression(
    n_samples=1_000,
    n_informative=3,
    n_features=20,
    noise=5.0,
    random_state=RANDOM_STATE,
)

train_X, test_X, train_y, test_y = train_test_split(
    X, y, test_size=0.33, random_state=RANDOM_STATE
)

model = RandomForestRegressor(max_depth=5, random_state=RANDOM_STATE)
model.fit(train_X, train_y)
pred_y = model.predict(test_X)

r2 = r2_score(test_y, pred_y)
y_min, y_max = np.min(test_y), np.max(test_y)

plt.figure(figsize=(6, 6))
plt.plot([y_min, y_max], [y_min, y_max], linestyle="-", color="black", alpha=0.2)
plt.scatter(test_y, pred_y, marker="x")
plt.xlabel("True")
plt.ylabel("Predicted")
plt.title(f"R^2 = {r2:.3f}")
plt.grid(alpha=0.3)
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

10-16 行目効く特徴量 3 本・ノイズ 5.0 の素直なデータ
make_regression で 1,000 件・20 特徴量を作り、n_informative=3 で目的変数に効くのは 3 本だけ、noise=5.0 で小さなノイズを乗せています。残り 17 本は無関係な列で、モデルがそれを無視できるかも試されます。ノイズが小さいので、うまく学習すれば $R^2$ は 0.9 を超えるはずです。
18-20 行目テストデータを 33% 取り分ける
train_test_split(test_size=0.33) で 330 件をテスト用に分けます。$R^2$ を学習データで測ると特徴量を足すほど必ず上がるので、モデルが見ていないテストデータで測るのが前提です。random_state を固定して、分割が毎回同じになるようにしています。
22-24 行目深さ 5 のランダムフォレストで学習
RandomForestRegressor(max_depth=5) は木の深さを 5 に制限したモデルで、20 特徴量のうち効く 3 本を自動で見つけます。fit で学習し、predict でテストデータの予測値 pred_y を得ます。max_depth を 1 にすると表現力が足りず、$R^2$ は目に見えて下がります。
26 行目r2_score の引数は (実測, 予測) の順
r2_score(test_y, pred_y) が定義式を計算します。引数を逆にすると分母が予測値の分散になり別の値が出るので、順序は (y_true, y_pred) で固定します。返り値は 1 以下の実数で、負にもなります。
29-34 行目対角線からのずれが残差
横軸に実測 test_y、縦軸に予測 pred_y を取り、薄い対角線（予測 = 実測）を引いています。点が対角線に乗るほど分子の残差二乗和が小さく、$R^2$ が 1 に近づきます。タイトルの R^2 = ... で図と数値を同時に確認できます。

予測値と実測値の散布図（高R²） — 予測がほぼ対角線上に並び、R²が高い状態。ノイズが小さくモデルが分散をよく説明できている。

学習・検証データが同じ分布から生成され、ノイズも 5.0 と小さいため、予測はほぼ対角線上に並び $R^2$ も 0.9 を超えます。

ばらつきが大きいデータと負の値 #

特徴量間に相関が多く（effective_rank=4）、ノイズが 30.0 と大きい場合は $R^2$ が下がります。それでも平均予測よりは良ければ、0〜1 の範囲に収まります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
X, y = make_regression(
    n_samples=1_000,
    n_informative=3,
    n_features=20,
    effective_rank=4,
    noise=30.0,
    random_state=RANDOM_STATE,
)

train_X, test_X, train_y, test_y = train_test_split(
    X, y, test_size=0.33, random_state=RANDOM_STATE
)

model = RandomForestRegressor(max_depth=5, random_state=RANDOM_STATE)
model.fit(train_X, train_y)
pred_y = model.predict(test_X)

r2 = r2_score(test_y, pred_y)
y_min, y_max = np.min(test_y), np.max(test_y)

plt.figure(figsize=(6, 6))
plt.plot([y_min, y_max], [y_min, y_max], linestyle="-", color="black", alpha=0.2)
plt.scatter(test_y, pred_y, marker="x", alpha=0.6)
plt.xlabel("True")
plt.ylabel("Predicted")
plt.title(f"R^2 = {r2:.3f}")
plt.grid(alpha=0.3)
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

5-6 行目effective_rank と noise で難しいデータにする
effective_rank=4 は 20 本の特徴量が実質 4 方向にしか広がっていない（互いに強く相関している）状態を作り、noise=30.0 は最初の例の 6 倍のノイズです。効く 3 本の信号がノイズに埋もれるので、どんなモデルでも $R^2$ の上限が下がります。
14-18 行目同じモデル・同じ分割で学習し直す
モデルの設定（max_depth=5）と分割（test_size=0.33、random_state）は最初の例と同じにしています。変えたのはデータだけなので、$R^2$ の低下はモデルではなくデータのノイズに起因すると切り分けられます。
23 行目alpha=0.6 で点の重なりを見せる
ばらつきが大きいと点が重なるので、alpha=0.6 で半透明にして密度が見えるようにしています。対角線の周りに点が太い帯になって広がり、最初の例より $R^2$ が低い理由が図から読めます。

予測値と実測値の散布図（中程度のR²） — ノイズが大きいためばらつきが増し、R²は低下するが0以上を維持している。

さらに、学習の仕方が悪いと平均予測よりも悪化し $R^2 < 0$ になります。次の例では、学習データの目的変数をランダムにシャッフルして入力との関係を壊します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
X, y = make_regression(
    n_samples=1_000,
    n_informative=3,
    n_features=20,
    effective_rank=4,
    noise=30.0,
    random_state=RANDOM_STATE,
)

train_X, test_X, train_y, test_y = train_test_split(
    X, y, test_size=0.33, random_state=RANDOM_STATE
)

train_y = np.random.permutation(train_y)
train_y = np.sin(train_y) * 10 + 1

model = RandomForestRegressor(max_depth=1, random_state=RANDOM_STATE)
model.fit(train_X, train_y)
pred_y = model.predict(test_X)

r2 = r2_score(test_y, pred_y)
y_min, y_max = np.min(test_y), np.max(test_y)

plt.figure(figsize=(6, 6))
plt.plot([y_min, y_max], [y_min, y_max], linestyle="-", color="black", alpha=0.2)
plt.scatter(test_y, pred_y, marker="x", alpha=0.6)
plt.xlabel("True")
plt.ylabel("Predicted")
plt.title(f"R^2 = {r2:.3f}")
plt.grid(alpha=0.3)
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

14-15 行目目的変数を壊して「学べない」状況を作る
np.random.permutation(train_y) で学習データの目的変数だけを並べ替え、入力 train_X との対応をわざと壊しています。さらに np.sin(...) * 10 + 1 で値の範囲も変えているので、モデルが学ぶのは元の関係とは無縁のパターンです。テストデータ test_y はそのままなので、予測は実測と噛み合いません。
17 行目max_depth=1 で表現力も落とす
深さ 1 の木 100 本では、予測はほぼ 2 つの値のどちらかに張り付きます。壊れた目的変数と弱いモデルの組み合わせで、予測が実測の広がり（−5〜7 程度）をまったく追えない状態になります。
21 行目負の R² は「平均より悪い」の印
r2_score は分子（モデルの残差二乗和）が分母（平均からのずれの二乗和）を超えると負を返します。この例では予測が 1 付近に張り付くため、平均 $\bar{y}$ を答え続けるより外れており、$R^2$ は −0.3 前後になります。

予測値と実測値の散布図（負のR²） — 目的変数をシャッフルしたため予測が破綻し、R²が負の値になっている。

負の値は「平均から予測するよりも悪い」ことを意味し、入力と目的変数の関係が崩れている（ラベルの取り違え、リーク、分布の変化など）可能性を示します。

最小二乗法での性質 #

最小二乗法による単回帰モデルでは、学習データ上の決定係数は理論上 $0 \le R^2 \le 1$ に収まります。ノイズを 0 から 3.0 まで変化させながら線形回帰を 100 回繰り返し、テストデータでの $R^2$ の分布を見ます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

r2_scores: list[float] = []

for noise in np.linspace(0.0, 3.0, 100):
    X, y = make_regression(
        n_samples=500,
        n_informative=1,
        n_features=1,
        effective_rank=1,
        noise=noise,
        random_state=RANDOM_STATE,
    )

    train_X, test_X, train_y, test_y = train_test_split(
        X, y, test_size=0.33, random_state=RANDOM_STATE
    )

    model = make_pipeline(
        StandardScaler(with_mean=False),
        LinearRegression(positive=True),
    )
    model.fit(train_X, train_y)
    pred_y = model.predict(test_X)
    r2_scores.append(r2_score(test_y, pred_y))

plt.figure(figsize=(8, 4))
plt.hist(r2_scores, bins=20, color="#2563eb", alpha=0.8, edgecolor="white")
plt.xlabel("R^2 score")
plt.ylabel("Frequency")
plt.title("Distribution of R^2 across 100 noisy datasets")
plt.grid(alpha=0.3)
plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

7 行目ノイズを 100 段階で振る
np.linspace(0.0, 3.0, 100) で 0 から 3.0 まで等間隔の 100 個のノイズ水準を作り、1 つずつデータを生成して学習と評価を繰り返します。ノイズ 0 なら $R^2$ はほぼ 1、ノイズ 3.0 なら信号（1 特徴量の線形関係）の大きさ次第で大きく下がります。
8-15 行目特徴量 1 本の単回帰に絞る
n_features=1、n_informative=1 で説明変数 1 本の単回帰にしています。この設定では $R^2$ が相関係数の二乗に一致するので、ノイズと $R^2$ の関係が最も読みやすい形になります。random_state を固定しているため、変わるのは noise だけです。
21-24 行目標準化と正の係数制約を付けた線形回帰
StandardScaler(with_mean=False) で分散だけ揃え、LinearRegression(positive=True) で係数を正に制約しています。make_regression の係数は正負どちらもあり得るので、負の係数のデータでは positive=True が当てはまりを悪くし、$R^2$ が低く出る回も混ざります。
27 行目テストデータの R² を 100 個集める
各回の r2_score(test_y, pred_y) を r2_scores に追加します。学習データではなくテストデータで測っているので、理論上の下限 0 を割る回も現れ得ます。この 100 個の分布がヒストグラムになります。
29-30 行目ヒストグラムで分布の形を見る
plt.hist(bins=20) で 100 個の $R^2$ を 20 区間に分けて数えます。ノイズが小さい回は 1 付近に積み上がり、ノイズが大きい回ほど左に広がるので、「どのくらいのノイズで $R^2$ がどこまで落ちるか」の目安が得られます。

R²スコアのヒストグラム — ノイズを変化させた100回の線形回帰におけるR²の分布。ノイズが大きいほどR²は低下する。

ノイズが大きくなるほどヒストグラムが左側にシフトします。同じモデルでもデータのノイズ次第で $R^2$ が 1 付近から 0.5 以下まで動くので、1 回の値で判断せず、交差検証や調整済み指標で安定性を確かめる必要が見えてきます。

実務での活用と注意点 #

特徴量を増やすほど学習データの $R^2$ は上昇するので、Adjusted R² や AIC/BIC と併用して過学習をチェックします。$R^2$ は単位を持たない相対指標なので、「平均で 3 個外れる」と伝えたいときは MAE、過小予測を罰したいときは RMSLE のように、ビジネス指標と整合する評価値も併せて確認します。サンプルが 30 件程度と少ないと $R^2$ の分散が大きく解釈が難しいので、交差検証やブートストラップで安定性を確かめます。木系モデルやニューラルネットでは、上の例のようにテストデータで負の値が出ることも珍しくなく、残差プロットやリフトチャートと組み合わせて総合的に判断します。

ノイズと R² #

ノイズ量を 0 から 3.0 まで増やすと R² がどう悪化するか確認できます。点の帯が太くなるにつれて、分子の残差二乗和が分母に近づき、R² が 1 から 0 へ下がる様子が値に表れます。

#

まとめ #

決定係数 $R^2 = 1 - \sum(y_i - \hat{y}_i)^2 / \sum(y_i - \bar{y})^2$ は、平均値を答える予測と比べてモデルが残差二乗和をどれだけ減らせたかの割合で、r2_score(y_true, y_pred) で求まります。ノイズ 5.0 の素直なデータでは 0.9 を超え、ノイズ 30.0 で特徴量が相関したデータでは下がり、目的変数をシャッフルして学習すると −0.3 前後の負の値になり、「平均より悪い」ことを示します。学習データ上では特徴量を足すだけで上がる性質があるため、テストデータで測り、自由度調整済み R² や MAE などの誤差系指標と併用してモデルを評価します。

自由度調整済みR² — 変数数 p を考慮した補正版（Adjusted R2）
説明分散 — バイアス込みの分散説明
相関係数 — 線形関係の強さ