K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

CatBoost

中級

02.4.9

CatBoost

最終更新 2020-05-06 読了時間 6 分
まとめ
CatBoost は Yandex が開発した勾配ブースティング木で、都市名や商品カテゴリのような文字列の列を、ワンホットやラベルエンコーディングをせずに cat_features に名前を渡すだけで学習できます。内部ではデータをランダムに並べ替え、各行より前に出た行だけからカテゴリごとのターゲット平均を計算する Ordered Target Statistics を使うので、自分のラベルが自分の特徴量に混ざるターゲットリークが起きません。弱学習器には同じ深さの全ノードが同じ分割条件を共有する対称木(Oblivious Tree)を使い、深さ \(d\) の木を \(d\) 個の条件だけで表すことで、推論の高速化と過学習の抑制を両立しています。このページでは CatBoostClassifier を数値だけのデータと文字列カテゴリ 2 列を含む DataFrame に当て、depth と l2_leaf_reg で ROC-AUC がどう動くかを見ます。

CatBoost は 勾配ブースティング のカテゴリ変数特化の実装です。「残差に木を当てて足していく」流れを先に押さえておくと、このページの Ordered Boosting が「残差の計算に使うモデルから自分自身を外す工夫」として読めます。

直感 #

「都道府県」列を使って住宅価格を予測したいとします。素直な方法は、都道府県ごとの平均価格を数値の特徴量にすることですが、ある家の平均価格を計算するときにその家自身の価格が混ざるので、学習データでは当たりすぎて、テストデータで外れます。これがターゲットリークです。CatBoost はデータをランダムに並べ替え、「自分より前に並んだ家だけ」の平均を使います。1 件目の家には事前平均しか無く、100 件目の家には 99 件分の情報が使える、という時系列のような計算で、自分のラベルを決して見ません。この並べ替えは木を足すたびに変え、残差の計算でも「自分より前の行だけで学習したモデル」を使うので、勾配ブースティングで起きる予測シフトも抑えられます。木そのものは、同じ深さなら全ノードが同じ「特徴量 \(f_j\) が閾値 \(t_j\) より大きいか」で割れる対称木で、深さ 6 なら 6 個の質問の Yes / No の組み合わせで 64 枚の葉のどれに落ちるかが決まります。

何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:灰色の線が前の段階。1 段階で直されるのは残差(縦線)が大きい場所から。

式で見る 3 つの工夫 #

Ordered Target Statistics(OTS) #

ステップ再生で見た「残差に木を当てる」部分は普通の勾配ブースティングと同じで、CatBoost の違いはその前段、カテゴリ変数を数値に直すところから始まります。カテゴリ変数を数値に変換する際、単純にターゲット平均を使うとターゲットリークが発生します。サンプル\(x_i\)自身のラベル\(y_i\)が特徴量の計算に含まれてしまうためです。CatBoostはデータにランダムな順列\(\sigma\)を与え、各サンプルより前に出現したデータだけでターゲット統計量を計算します。

カテゴリ値\(c\)を持つサンプル\(x_{\sigma(i)}\)に対する変換値は以下で定義されます。

$$ \\hat{x}_{\\sigma(i)}^k = \\frac{\\sum_{j=1}^{i-1} \\mathbf{1}[x_{\\sigma(j)}^k = x_{\\sigma(i)}^k] \\cdot y_{\\sigma(j)} + a \\cdot p}{\\sum_{j=1}^{i-1} \\mathbf{1}[x_{\\sigma(j)}^k = x_{\\sigma(i)}^k] + a} $$

分子は「自分より前に並んだ同じカテゴリの行のラベルの合計」、分母は「その行数」で、要するに過去の行だけで計算したカテゴリ別の平均です。\(p\)は事前確率(通常はデータセット全体のターゲット平均)、\(a\)はスムージングパラメーターで、順列の先頭付近で過去の行がほとんど無いときに分母が 0 になるのを防ぎます。\(a\)が大きいほど事前確率\(p\)に近づき、出現回数が 2〜3 回しかないカテゴリの平均が 0 や 1 に振れるノイズを抑えます。

予測シフトとOrdered Boosting #

通常の勾配ブースティングでは、\(t\)番目の木を学習する際の残差(勾配)が、同じ学習データで構築されたモデル\(F^{t-1}\)に基づいて計算されます。これにより予測シフト(conditional shift)が生じます。

$$ \\mathbb{E}[F^{t-1}(\\mathbf{x}_i) \\mid \\mathbf{x}_i] \\neq \\mathbb{E}[F^{t-1}(\\mathbf{x}) \\mid \\mathbf{x}] $$

左辺は学習に使った点\(\mathbf{x}i\)でのモデルの予測、右辺は未知の点での予測で、学習データに対する予測はテストデータに対する予測と系統的にずれるということです。CatBoost の Ordered Boosting はこれを次の手順で解消します。まず学習開始時にランダムな順列\(\sigma\)を生成します。次に、各サンプル\(x{\sigma(i)}\)の残差を、\(x_{\sigma(1)}, \dots, x_{\sigma(i-1)}\)だけで学習したモデルから計算します。こうすると残差の計算に使うモデルとサンプル自身が独立になり、予測シフトが消えます。順列は 1 つに固定せず、ブースティングの各ステップで異なる\(\sigma\)を使うので、特定の並び順に依存するバリアンスも抑えられます。

Oblivious Decision Tree(対称木) #

CatBoostの基本学習器はOblivious Decision Tree(対称木)です。通常の決定木では各ノードが独立に分割条件を持ちますが、対称木では同じ深さのノードがすべて同じ分割条件(同じ特徴量・同じ閾値)を共有します。

深さ\(d\)の対称木が持つ分割条件は深さごとに 1 つ、合計\(d\)個だけで、葉の数は\(2^d\)個です。depth=6 なら条件 6 個で葉 64 枚になります。任意のサンプルがどの葉に落ちるかは、\(d\)個の二値条件の Yes / No を並べたビットベクトルで決まります。

$$ \\text{leaf}(\\mathbf{x}) = \\sum_{j=1}^{d} 2^{j-1} \\cdot \\mathbf{1}[f_j(\\mathbf{x}) > t_j] $$

ここで\(f_j\)は深さ\(j\)で使われる特徴量、\(t_j\)はその閾値です。条件を満たすかどうかの 0 / 1 を\(2^{j-1}\)倍して足すだけなので、葉の番号はビット演算 1 回で求まり、通常の木のように枝を順にたどる必要がありません。

通常の決定木Oblivious Tree
分割条件ノードごとに異なる同じ深さで共通
パラメーター数最大\(2^d - 1\)個\(d\)個
推論速度分岐ごとに条件判定ビット演算で高速
過学習耐性表現力が高く過学習しやすい制約が強く過学習しにくい

参考リンク

Prokhorenkova, L., Gusev, G., Vorobev, A., Dorogush, A. V., & Gulin, A. (2018). CatBoost: unbiased boosting with categorical features. Advances in Neural Information Processing Systems (NeurIPS), 31.

Python で確かめる #

ここからは CatBoostClassifier を 2 種類のデータで動かします。最初は数値だけの 20 特徴データで基本の学習と ROC-AUC を確認し、次に文字列カテゴリ 2 列を含む DataFrame を cat_features 指定だけで学習させます。その後 depth と l2_leaf_reg を動かして精度の変化を折れ線で見て、最後に特徴量重要度を棒グラフにします。

ライブラリと実験データ #

1
2
3
4
5
6
7
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from catboost import CatBoostClassifier

まず数値特徴量のみのデータで基本動作を確認します。20 特徴のうち役に立つのは 10 個で、5 個は冗長な列です。

1
2
3
4
5
6
7
X, y = make_classification(
    n_samples=1000, n_features=20, n_informative=10,
    n_redundant=5, random_state=42
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

基本的な学習と評価 #

深さ 6 の対称木を 100 本、学習率 0.1 で積み上げ、テストデータの確率から ROC-AUC を出します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
model = CatBoostClassifier(
    iterations=100,
    depth=6,
    learning_rate=0.1,
    random_state=42,
    verbose=0,
)
model.fit(X_train, y_train)
y_prob = model.predict_proba(X_test)[:, 1]
print(f"ROC-AUC: {roc_auc_score(y_test, y_prob):.4f}")

カテゴリ変数の処理 #

CatBoost の強みは、文字列のままのカテゴリ列を fit に渡せることです。cat_features にカテゴリ列の名前(または位置)を渡すと、内部で Ordered Target Statistics による数値化が行われます。ここでは "A"〜"D" と "low" / "mid" / "high" の 2 つの文字列列を含む 500 件の DataFrame を作り、ラベルが cat_feat1 に依存するようにしておきます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# カテゴリ変数を含むデータの例
np.random.seed(42)
n = 500
df = pd.DataFrame({
    "num_feat1": np.random.randn(n),
    "num_feat2": np.random.randn(n),
    "cat_feat1": np.random.choice(["A", "B", "C", "D"], n),
    "cat_feat2": np.random.choice(["low", "mid", "high"], n),
})
# カテゴリ変数に依存するターゲット
target = (
    (df["cat_feat1"].isin(["A", "B"])).astype(int)
    + (df["num_feat1"] > 0).astype(int)
    + np.random.binomial(1, 0.2, n)
) >= 2
target = target.astype(int)

X_train_c, X_test_c, y_train_c, y_test_c = train_test_split(
    df, target, test_size=0.3, random_state=42
)

model_cat = CatBoostClassifier(
    iterations=100, depth=6, learning_rate=0.1,
    random_state=42, verbose=0,
)
model_cat.fit(
    X_train_c, y_train_c,
    cat_features=["cat_feat1", "cat_feat2"],
)
y_prob_cat = model_cat.predict_proba(X_test_c)[:, 1]
print(f"ROC-AUC (カテゴリ変数あり): {roc_auc_score(y_test_c, y_prob_cat):.4f}")

depth の影響 #

depth は対称木の深さで、葉の数は \(2^{\text{depth}}\) 枚になります。depth=2 で 4 枚、depth=10 で 1024 枚です。深くするほど 1 本の木が複雑な境界を表せますが、1000 件のデータでは 1024 枚の葉に 1 件ずつしか入らず、過学習が始まります。ここでは 2 から 10 まで 5 通りを折れ線で比べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
depths = [2, 4, 6, 8, 10]
scores = []
for d in depths:
    m = CatBoostClassifier(
        iterations=100, depth=d,
        learning_rate=0.1, random_state=42, verbose=0,
    )
    m.fit(X_train, y_train)
    scores.append(roc_auc_score(y_test, m.predict_proba(X_test)[:, 1]))

plt.figure(figsize=(8, 4))
plt.plot(depths, scores, "o-")
plt.xlabel("depth")
plt.ylabel("ROC-AUC")
plt.title("depthと精度の関係")
plt.grid(True)
plt.show()

l2_leaf_reg の影響 #

l2_leaf_reg は葉の値(各葉が出力する予測の増分)に掛かる L2 正則化の強さで、既定値は 3 です。大きくすると葉の値が 0 に向かって縮み、1 本の木が少数のサンプルに合わせすぎるのを防げます。0.1 から 10 まで 5 通りを比べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
regs = [0.1, 1.0, 3.0, 5.0, 10.0]
scores = []
for r in regs:
    m = CatBoostClassifier(
        iterations=100, depth=6,
        learning_rate=0.1, l2_leaf_reg=r,
        random_state=42, verbose=0,
    )
    m.fit(X_train, y_train)
    scores.append(roc_auc_score(y_test, m.predict_proba(X_test)[:, 1]))

plt.figure(figsize=(8, 4))
plt.plot(regs, scores, "o-")
plt.xlabel("l2_leaf_reg")
plt.ylabel("ROC-AUC")
plt.title("L2正則化と精度の関係")
plt.grid(True)
plt.show()

特徴量の重要度 #

最初に学習した数値だけのモデル model について、20 個の特徴量がどれだけ分割に貢献したかを棒グラフにします。n_informative=10 なので、重要度の高い棒が 10 本前後あり、残りの雑音列と冗長列が低く出るのが期待される形です。

1
2
3
4
5
6
7
8
9
importances = model.feature_importances_
indices = np.argsort(importances)[::-1]

plt.figure(figsize=(10, 5))
plt.bar(range(len(importances)), importances[indices])
plt.xlabel("特徴量インデックス")
plt.ylabel("重要度")
plt.title("CatBoost 特徴量重要度")
plt.show()

対称木(Oblivious Tree)を使う理由 #

CatBoost は既定で対称木を使います。通常の決定木は各ノードで異なる特徴量・閾値で分割しますが、対称木は同じ深さのノードで同じ分割条件を使います。利点は 2 つあり、1 つは推論の速さで、全データに同じ条件を一括で適用できるので深さ 6 なら 6 回の比較で葉が決まります。もう 1 つは過学習への耐性で、depth=6 の木が持つ条件は 6 個だけなので、通常の木の最大 63 個より少ないパラメータで済みます。代わりに 1 本の表現力は通常の木より低いですが、100 本、1000 本と積むブースティングでは十分に補えます。

depthを大きくすると対称木のノード数が指数的に増加し、メモリ使用量と計算時間が急増します。デフォルトのdepth=6から始め、l2_leaf_regで正則化を調整してください。

カテゴリ変数はcat_featuresで明示的に指定するだけで前処理なしに扱えます。データが数十万件を超えるなら GPU 学習(task_type="GPU")に切り替えると学習時間を大きく短縮できます。depth と l2_leaf_reg の組み合わせを自動で探すには、CatBoost 組み込みの grid_search メソッドが便利です。

まとめ #

CatBoost は、文字列のカテゴリ列を cat_features に指定するだけで学習できる勾配ブースティング木です。カテゴリの数値化にはランダム順列の「自分より前の行」だけを使う Ordered Target Statistics を、残差の計算には同じ考え方の Ordered Boosting を使い、自分のラベルを自分の特徴量や勾配に混ぜないことでターゲットリークと予測シフトを防ぎます。弱学習器の対称木は深さ \(d\) を \(d\) 個の条件で表すため、推論が速く過学習しにくい性質を持ちます。実験では depth は 4〜6 で ROC-AUC が頭打ち、l2_leaf_reg は既定の 3 前後が無難で、この 2 つが精度と過学習のバランスを決める主要なハイパーパラメータです。

  • Gradient Boosting(回帰) — 勾配ブースティングの基礎
  • XGBoost — 正則化項を目的関数に組み込んだ勾配ブースティングの定番実装
  • LightGBM — ヒストグラム近似に特化した高速実装
  • SHAP — 予測を特徴量ごとに分解
  • PDP / ICE — 特徴量と予測の関係を可視化

推定器数と CatBoost #

スライダーで木の本数を 1 本から 200 本まで動かすと、予測の線が階段状から滑らかになり、train_mse は下がり続けるのに test_mse はある本数から上がり始める様子を確認できます。