K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

LightGBM

中級

02.4.8

LightGBM

最終更新 2020-04-22 読了時間 6 分
まとめ
LightGBM は Microsoft が開発した勾配ブースティングのライブラリで、「残差に木を当てて足す」仕組みは普通の勾配ブースティングと同じですが、木の作り方を 2 点変えて速くしています。1 つは連続値を 255 個のビンに丸めてから分割点を探すヒストグラム近似で、分割候補の評価が \(O(n \times d)\) から \(O(B \times d’)\) に落ちます。もう 1 つは Leaf-wise 成長で、同じ深さのノードを一斉に割るのではなく、損失をいちばん減らせる葉だけを割るため、同じ葉数でも低い損失に届きます。代わりに過学習しやすいので、num_leaves、min_child_samples、learning_rate で複雑さを抑えるのが調整の中心で、このページでは LGBMClassifier でこの 3 つを動かし、Train と Test の ROC-AUC がどこから開くかを見ます。

LightGBM は 勾配ブースティング のヒストグラム近似版です。疑似残差に木を当てて学習率を掛けて足す流れを先に押さえておくと、このページの速さの工夫が「その木を作る部分だけを変えたもの」として読めます。

直感 #

1000 万行のデータで「年収」の列の最適な分割点を探すとき、普通の勾配ブースティングは 1000 万通りの境目を全部試します。LightGBM は年収を 255 段階のビンに丸め、ビンの境目 254 通りだけを試します。数 % の精度の差で評価回数が 4 万分の 1 になるのが、ヒストグラム近似です。木の育て方も違います。普通の実装は「深さ 1 の全ノードを割り、次に深さ 2 の全ノードを割る」と階ごとに均等に広げますが(Level-wise)、LightGBM は「いま損失をいちばん減らせる葉」を 1 つ選んで割る(Leaf-wise)ので、同じ 31 枚の葉でも損失を下げやすく、残差が大きい領域ほど細かく割られます。ステップ再生で残差の縦線が長い場所から直されるのと同じ理屈です。

何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:灰色の線が前の段階。1 段階で直されるのは残差(縦線)が大きい場所から。

速さの工夫を式で見る #

ヒストグラムベースの分割探索 #

従来の勾配ブースティングでは、すべてのサンプル×すべての特徴量で分割候補を評価するため、1 回の分割探索の計算量は\(O(n \times d)\)です。LightGBMは連続値の特徴量を固定個数のビン(デフォルト255個)に離散化し、ビン単位で勾配統計量を集計します。

$$ \text{計算量}: O(n \times d) \longrightarrow O(B \times d') $$

ここで\(B\)はビン数(\(\ll n\))、\(d’\)はバンドル後の特徴量数(\(\le d\))です。さらに、親ノードと一方の子ノードのヒストグラムの差分からもう一方の子ノードのヒストグラムを求める「ヒストグラム差分トリック」により計算量を半減させます。

GOSS(Gradient-based One-Side Sampling) #

大きな勾配を持つサンプルは残差がまだ大きい、つまり情報量が大きいサンプルで、小さな勾配のサンプルはすでによく学習されています。GOSS はこの性質を利用して、木を作るときに使うサンプルを間引きます。まず全サンプルを勾配の絶対値でソートします。次に上位\(a \times 100\)%のサンプル(集合\(A\))をすべて保持し、残りの\((1-a) \times 100\)%からランダムに\(b \times 100\)%だけをサンプリングします(集合\(B\))。最後に\(B\)のサンプルに重み\(\frac{1-a}{b}\)を掛けて、間引いた分の勾配の合計を元のデータ分布に合わせます。たとえば\(a = 0.2\)、\(b = 0.1\)なら、使うサンプルは全体の 28% で、\(B\)の重みは 8 倍です。

分割ゲインの近似式は以下のようになります。

$$ \tilde{V}_j(d) = \frac{1}{n}\left(\frac{\left(\sum_{x_i \in A_l} g_i + \frac{1-a}{b}\sum_{x_i \in B_l} g_i\right)^2}{n_l^j(d)} + \frac{\left(\sum_{x_i \in A_r} g_i + \frac{1-a}{b}\sum_{x_i \in B_r} g_i\right)^2}{n_r^j(d)}\right) $$

EFB(Exclusive Feature Bundling) #

One-Hot エンコード後のような高次元でスパースなデータでは、多くの特徴量が互いに排他的(同時に非ゼロにならない)です。EFB はこれらの特徴量をバンドルにまとめて 1 つの特徴量として扱います。手順は、まず特徴量間の「同時に非ゼロになる」関係をグラフの辺として表し、次にグラフ彩色問題に帰着させて貪欲法で近似的にバンドルを求め、最後に同一バンドル内の特徴量にオフセットを加えて 1 つの特徴量に統合します。たとえば 0〜10 の特徴量 A と 0〜20 の特徴量 B を束ねるなら、B の値に 10 を足して 0〜30 の 1 列にします。これにより特徴量数が\(d\)から\(d’\)(バンドル数)に削減され、ヒストグラム構築の計算量がさらに減少します。

Leaf-wise成長 vs Level-wise成長 #

Level-wiseLeaf-wise
成長方法同じ深さのノードをすべて分割損失改善が最大の葉のみ分割
メリットバランスの良い木構造同じ葉数でより低い損失を達成
リスク不要な分割が発生しやすい過学習しやすい
制御max_depthnum_leaves(\(\le 2^{\text{max_depth}}\))

参考リンク

Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS), 30.

Python で確かめる #

ここからは LGBMClassifier を 1000 件・20 特徴の人工データに当て、基準となる ROC-AUC を出した後、num_leaves、learning_rate、min_child_samples を 1 つずつ動かして Train と Test の ROC-AUC を折れ線で並べます。2 本の線が開く場所が過学習の始まりです。

ライブラリと実験データ #

1
2
3
4
5
6
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from lightgbm import LGBMClassifier
1
2
3
4
5
6
7
X, y = make_classification(
    n_samples=1000, n_features=20, n_informative=10,
    n_redundant=5, random_state=42
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

基本的な学習と評価 #

葉 31 枚の木を 100 本、学習率 0.1 で積み上げる既定値に近い設定で学習し、Test の ROC-AUC を基準値として出します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
model = LGBMClassifier(
    n_estimators=100,
    num_leaves=31,
    learning_rate=0.1,
    random_state=42,
    verbose=-1,
)
model.fit(X_train, y_train)
y_prob = model.predict_proba(X_test)[:, 1]
print(f"ROC-AUC: {roc_auc_score(y_test, y_prob):.4f}")

num_leaves の影響 #

num_leaves は木の最大葉数で、8 枚から 127 枚まで増やすと 1 本の木が表せる領域の分け方が細かくなります。Leaf-wise 成長では max_depth より num_leaves のほうがモデルの複雑さを直接決めるので、LightGBM ではまずこの引数を調整します。1000 件のデータで 127 枚の葉を持つ木を 100 本積むと、Train は 1.0 に張り付き、Test は横ばいか下がるはずです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
leaves_list = [8, 16, 31, 63, 127]
train_scores, test_scores = [], []
for nl in leaves_list:
    m = LGBMClassifier(
        n_estimators=100, num_leaves=nl,
        learning_rate=0.1, random_state=42, verbose=-1,
    )
    m.fit(X_train, y_train)
    train_scores.append(roc_auc_score(y_train, m.predict_proba(X_train)[:, 1]))
    test_scores.append(roc_auc_score(y_test, m.predict_proba(X_test)[:, 1]))

plt.figure(figsize=(8, 4))
plt.plot(leaves_list, train_scores, "o-", label="Train")
plt.plot(leaves_list, test_scores, "s--", label="Test")
plt.xlabel("num_leaves")
plt.ylabel("ROC-AUC")
plt.title("num_leaves vs ROC-AUC")
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

num_leavesとROC-AUCの関係

Train の実線は葉数とともに 1.0 へ張り付き、Test の破線は 16〜31 枚あたりで頭打ちになります。700 件の訓練データでは 127 枚の葉は 1 枚あたり 5〜6 件しか入らず、個々のサンプルを覚える木になるためです。


learning_rate の影響 #

learning_rate を 0.01 から 0.5 まで変え、木の本数は 200 本に固定して、1 本あたりの歩幅が Train と Test の ROC-AUC にどう効くかを見ます。0.01 では 200 本でも学習が足りず、0.5 では訓練データに素早く合いすぎて Test が落ちる、という両側の失敗を 1 枚の図に収めます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
rates = [0.01, 0.05, 0.1, 0.3, 0.5]
train_scores, test_scores = [], []
for lr in rates:
    m = LGBMClassifier(
        n_estimators=200, num_leaves=31,
        learning_rate=lr, random_state=42, verbose=-1,
    )
    m.fit(X_train, y_train)
    train_scores.append(roc_auc_score(y_train, m.predict_proba(X_train)[:, 1]))
    test_scores.append(roc_auc_score(y_test, m.predict_proba(X_test)[:, 1]))

plt.figure(figsize=(8, 4))
plt.plot(rates, train_scores, "o-", label="Train")
plt.plot(rates, test_scores, "s--", label="Test")
plt.xlabel("learning_rate")
plt.ylabel("ROC-AUC")
plt.title("learning_rate vs ROC-AUC")
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

learning_rateとROC-AUCの関係

0.01 では 200 本では足りず Train も Test も低く、0.05〜0.1 で Test が最も高くなります。0.3 以降は Train が 1.0 に張り付く一方で Test はわずかに下がり、歩幅が大きすぎて訓練データのノイズまで追った状態です。


min_child_samples の影響 #

min_child_samples は 1 枚の葉に最低限入れるサンプル数で、既定値は 20 です。5 にすると 5 件だけの葉を作れるので訓練データの細かいばらつきまで拾い、100 にすると 700 件の訓練データでは 7 枚程度の葉しか作れず、木が単純になります。葉の最小サンプル数を増やすほど過学習は抑えられますが、増やしすぎると学習不足になります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
min_samples = [5, 10, 20, 50, 100]
train_scores, test_scores = [], []
for ms in min_samples:
    m = LGBMClassifier(
        n_estimators=100, num_leaves=31,
        learning_rate=0.1, min_child_samples=ms,
        random_state=42, verbose=-1,
    )
    m.fit(X_train, y_train)
    train_scores.append(roc_auc_score(y_train, m.predict_proba(X_train)[:, 1]))
    test_scores.append(roc_auc_score(y_test, m.predict_proba(X_test)[:, 1]))

plt.figure(figsize=(8, 4))
plt.plot(min_samples, train_scores, "o-", label="Train")
plt.plot(min_samples, test_scores, "s--", label="Test")
plt.xlabel("min_child_samples")
plt.ylabel("ROC-AUC")
plt.title("min_child_samples vs ROC-AUC")
plt.legend()
plt.grid(True, alpha=0.3)
plt.show()

min_child_samplesとROC-AUCの関係

5 件のとき Train と Test の差が最も大きく、20〜50 件で差が縮みます。100 件まで増やすと Test もわずかに下がり始めるので、このデータでは 20〜50 件が「過学習を抑えつつ学習不足にならない」範囲です。


特徴量の重要度 #

基準モデル model について、20 個の特徴量がそれぞれ何回分割に使われたかを棒グラフにします。n_informative=10 なので、上位 10 本程度が高く、雑音の 5 列が低く出るのが期待される形です。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
importances = model.feature_importances_
indices = np.argsort(importances)[::-1]

plt.figure(figsize=(10, 5))
plt.bar(range(len(importances)), importances[indices], color="#2563eb", alpha=0.8)
plt.xlabel("Feature Index")
plt.ylabel("Importance (split)")
plt.title("LightGBM Feature Importance")
plt.xticks(range(len(importances)), [f"f{i}" for i in indices], fontsize=9)
plt.show()

LightGBM特徴量重要度


Level-wise と Leaf-wise の違い #

通常の勾配ブースティング(XGBoost のデフォルトなど)は Level-wise、すなわち深さごとに全ノードを分割します。一方 LightGBM は Leaf-wise、つまり損失をもっとも減らせる葉だけを分割します。Level-wise はバランスの取れた木になりやすく過学習しにくい反面、損失をほとんど減らさない分割にも 1 回分の計算を使います。Leaf-wise は同じ葉数ならより低い損失を達成できますが、残差の大きい領域だけが深く掘られるので、深さが 10 を超えるような枝ができて過学習しやすくなります。このため LightGBM では max_depth よりも num_leaves でモデルの複雑さを制御するのが基本で、上の実験で見たとおり 31 枚前後が出発点になります。

Leaf-wise成長のため、num_leavesを大きくしすぎると急速に過学習します。num_leavesは2^max_depthより小さく設定するのが目安です。たとえばmax_depth=6ならnum_leavesは63以下に抑えてください。

チューニングはnum_leaves → learning_rate → min_child_samples → n_estimatorsの順が効率的です。カテゴリ変数はOne-Hot Encodingせず、データ型をcategoryにしてそのまま渡すとLightGBMが最適な分割を自動で見つけます。

まとめ #

LightGBM は、連続値を 255 ビンに丸めるヒストグラム近似と、損失改善が最大の葉だけを割る Leaf-wise 成長で、勾配ブースティングの「木を作る」部分を速くしたライブラリです。GOSS で勾配の小さいサンプルを間引き、EFB で排他的な特徴量を束ねることで、サンプル数と特徴量数の両方を減らしてさらに速くしています。速さの代償は過学習しやすさで、実験では num_leaves を 31 枚から 127 枚に増やすと Train だけが 1.0 に張り付き、learning_rate は 0.05〜0.1 で Test が最高、min_child_samples は 20〜50 件で Train と Test の差が最も縮みました。調整は num_leaves → learning_rate → min_child_samples → n_estimators の順に、必ず Train と Test の 2 本の線を並べて見ながら進めます。

  • Gradient Boosting(回帰) — 勾配ブースティングの基礎
  • XGBoost — 目的関数に正則化項を入れた Level-wise 成長の定番実装
  • CatBoost — カテゴリ変数に強い勾配ブースティング
  • SHAP — 予測を特徴量ごとに分解
  • PDP / ICE — 特徴量と予測の関係を可視化

推定器数と LightGBM #

スライダーで木の本数を 1 本から 200 本まで動かすと、予測の線が階段状から滑らかになり、train_mse は下がり続けるのに test_mse はある本数から上がり始める様子を確認できます。