02.4.4
バギング (Bagging)
BaggingRegressor に深さ無制限の決定木を 100 本入れ、カリフォルニア住宅価格の RMSE と OOB スコアを確かめます。直感 #
天気予報を 1 人の予報士に任せる代わりに、過去の観測記録を少しずつ違う抜き出し方で 100 人に渡し、100 通りの予報の平均を取る。これがバギングです。1 人 1 人は手元の記録に引っぱられて外れることがあっても、外れ方は人ごとに違うので、平均するとお互いに打ち消し合います。機械学習では「違う抜き出し方」をブートストラップ標本(元データから重複ありで同じ件数を引き直す)で作り、「予報士」に深さ無制限の決定木のような不安定なモデルを使います。1 本の深い木は訓練データを丸暗記して予測がでこぼこになりますが、100 本の平均は滑らかになります。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:1 本ごとの境界はでこぼこでも、多数決にすると滑らかになる。標本を変えるから木がばらつく。
式で見ると分散はどこまで下がるか #
分散低減の原理 #
ステップ再生で「多数決にすると境界が滑らかになる」のを見ました。その滑らかさを式にしたのが、次の 2 項への分散の分解です。$B$ 個の学習器がそれぞれ分散 $\sigma^2$ を持ち、学習器間の相関が $\rho$ のとき、バギング予測の分散は:
$$\text{Var}\!\left(\frac{1}{B}\sum_{b=1}^{B} h_b(x)\right) = \rho \sigma^2 + \frac{1 - \rho}{B}\sigma^2$$第 2 項 $(1-\rho)\sigma^2 / B$ は $B$ を増やすほど小さくなり、$B \to \infty$ で消えます。これがバギングの分散低減効果で、木を 10 本から 100 本にすると第 2 項は 10 分の 1 になります。第 1 項 $\rho\sigma^2$ は学習器間の相関から来るので、$B$ をいくら増やしても残ります。同じデータから引き直した木はどうしても似るため $\rho$ は 0 にならず、ランダムフォレストはこの $\rho$ を特徴量のサブサンプリングで下げて、第 1 項も縮めています。
ブートストラップサンプリング #
$N$ 個のデータから重複ありで $N$ 個を抽出する操作です。特定のサンプルが1回も選ばれない確率は:
$$P(\text{非選出}) = \left(1 - \frac{1}{N}\right)^N \xrightarrow{N \to \infty} \frac{1}{e} \approx 0.368$$つまり約 63.2% のデータが各ブートストラップ標本に含まれ、残り約 36.8% が Out-of-Bag (OOB) データとなります。ステップ再生で木ごとに違う点が選ばれていたのは、この引き直しの結果です。
OOB 誤差推定 #
OOB データは各木が学習時に使わなかったサンプルなので、追加の検証セットなしで汎化性能を推定できます:
$$\hat{E}_{\text{OOB}} = \frac{1}{N}\sum_{i=1}^{N} L\!\left(y_i,\; \frac{1}{|S_i|}\sum_{b \in S_i} h_b(x_i)\right)$$ここで $S_i = {b : x_i \notin D_b}$ は、サンプル $i$ を学習に使わなかった木の集合です。$B = 100$ なら各サンプルはおよそ 37 本の木にとって OOB なので、その 37 本の平均予測と正解 $y_i$ の損失 $L$ を全サンプルで平均したものが OOB 誤差です。下のコードの oob_score_ はこれを $R^2$ で表した値です。
バギングの予測 #
回帰では $B$ 本の予測の平均 $\hat{f}(x) = \frac{1}{B}\sum_{b=1}^{B} h_b(x)$ を、分類では多数決 $\hat{y}(x) = \text{mode}{h_1(x), \dots, h_B(x)}$ を最終予測にします。手順をまとめると、まず学習データから重複ありのサンプリングで $B$ 個の標本を作り、次に各標本で同じ種類のモデルを独立に学習し、最後に平均または多数決で合算します。各モデルは互いに依存しないので、n_jobs=-1 を指定すれば $B$ 本を並列に学習できます。
Python で確かめる #
バギングは Bootstrap Aggregating の略で、データをブートストラップサンプリングして複数の弱学習器を学習し、その平均や多数決を取るアンサンブル手法です。決定木と組み合わせるとランダムフォレストに発展します。
次のコードは、カリフォルニア住宅価格データ(20640 件、8 特徴)に深さ無制限の決定木 100 本のバギングを当て、テストデータの RMSE と OOB スコアを出します。深さ無制限の木 1 本は訓練データを丸暗記して RMSE が大きくぶれるので、100 本の平均でそれがどれだけ安定するかが見どころです。
| |
ハイパーパラメータの効き方 #
n_estimators は学習器の数で、多いほど分散の式の第 2 項が小さくなり予測が安定しますが、学習時間とメモリは本数に比例して増えます。100 本を超えると改善は頭打ちになることが多いです。max_samples と max_features は 1 個の学習器に渡すデータと特徴量の割合で、どちらも 1.0 より小さくすると木どうしの相関 $\rho$ が下がります。bootstrap=True でサンプルを重複ありで引き直し、bootstrap_features=True にすると特徴量も重複ありで選びます。oob_score=True を付けると、各木が使わなかった Out-of-Bag のサンプルで汎化性能を推定した oob_score_ が得られ、交差検証を回さずにおおまかな性能を知ることができます。
長所と短所 #
| 長所 | 短所 |
|---|---|
| 実装が簡単で並列化しやすい | 大量の学習器を保持する必要がある |
| 分散を大きく削減できる | バイアスは減らせないので弱学習器自体がある程度強くないと効果薄 |
| OOB 推定で追加の検証セット不要 | 解釈性は単体モデルより低い |
まとめ #
バギングは「訓練データを重複ありで引き直し、同じモデルを $B$ 本学習して平均(または多数決)を取る」手法です。効果は分散の式 $\rho\sigma^2 + (1-\rho)\sigma^2 / B$ の第 2 項を縮めることにあり、深さ無制限の決定木のように 1 本では不安定なモデルほど恩恵が大きくなります。引き直しで選ばれない約 36.8% の Out-of-Bag データを使えば、oob_score=True だけで汎化性能の推定が手に入ります。残る第 1 項 $\rho\sigma^2$ を特徴量のサブサンプリングで削るのが ランダムフォレスト で、BaggingRegressor の max_features を小さくした実験がその入り口になります。
- ランダムフォレスト — バギング+特徴量サンプリング
- Adaboost(分類) — ブースティングとの対比
- 決定木分類器 — 基本学習器
- SHAP — モデルの予測を特徴量ごとに分解して解釈
推定器数とバギング #
スライダーで n_estimators を 1 本から 200 本まで動かすと、1 本のときの階段状でぎざぎざした予測が、本数を増やすほど滑らかになり、train_mse と test_mse の差が縮む様子を確認できます。