RuleFit

直感 #

住宅価格を予測するとき、線形回帰は「床面積 1 平方フィートあたり 55 ドル」のように特徴量ごとに 1 つの傾きしか持てません。決定木なら「床面積が 3405 を超え、かつ grade が 8.5 を超える家」のような組み合わせの効果を表せますが、1 本の木は不安定です。RuleFit はこの 2 つを合わせ、まず勾配ブースティングで浅い木を多数作り、根から各ノードへの経路を 1 本ずつ「条件に当たれば 1、外れれば 0」のルール特徴量に変換します。次に、元の数値特徴量とこれらのルールをまとめて Lasso 回帰に入れ、効かないルールの係数を 0 に落とします。残った係数つきルールの一覧が、そのままモデルの説明になります。

詳細な解説 #

実験用のデータを取得する #

openml で公開されている CC0 Public Domain のデータセット house_sales を使って、アメリカ・キング郡の住宅価格 price を予測する回帰モデルを作ります。次のコードは fetch_openml でデータを取得し、数値列だけを説明変数 X に残します。

1
2
3
4
5
6
7
8

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.datasets import fetch_openml

dataset = fetch_openml(data_id=42092)
X = pd.DataFrame(dataset.data, columns=dataset.feature_names)
X = X.select_dtypes("number")
y = dataset.target

データの中身を確認する #

1

X.head(10)

RuleFitを実行する #

Python implementation of the rulefit algorithm - GitHub の実装を使用して RuleFit を動かします。次のコードは最大 100 本のルールを作る設定で学習し、内部で使われた木モデルの設定を表示します。

※実行する際は import warnings;warnings.simplefilter('ignore') は外してください

1
2
3
4
5
6
7

from rulefit import RuleFit
import warnings

warnings.simplefilter("ignore")  ## ConvergenceWarning

rf = RuleFit(max_rules=100)
rf.fit(X.values, y, feature_names=list(X.columns))

RuleFit(max_rules=100,
        tree_generator=GradientBoostingRegressor(learning_rate=0.01,
                                                 max_depth=100,
                                                 max_leaf_nodes=5,
                                                 n_estimators=28,
                                                 random_state=27,
                                                 subsample=0.04543939429397564))

作成されたルールを確認する #

学習後に get_rules() を呼ぶと、元の特徴量（type = linear）と木から作られたルール（type = rule）が係数つきで 1 つの表に並びます。次のコードは係数が 0 でないものだけを残し、重要度の高い順に 10 件表示します。

1
2
3

rules = rf.get_rules()
rules = rules[rules.coef != 0].sort_values(by="importance", ascending=False)
rules.head(10)

ルールが正しいか確認してみる #

RuleFit が出したルールは「学習データでそう見えた」だけなので、元データで裏取りします。上の表とは別の実行で得られた sqft_above linear 8.632149e+01 1.000000 66243.550192 の線形項に基づいて、sqft_above（地上部分の面積）が増えると y（price）が増える傾向にあるかどうかを散布図で確認します。

1
2
3
4

plt.figure(figsize=(6, 6))
plt.scatter(X["sqft_above"], y, marker=".")
plt.xlabel("sqft_above")
plt.ylabel("price")

次に、sqft_living <= 3935.0 & lat <= 47.5314998626709 rule -8.271074e+04 0.377800 40101.257833 のルール項を検証します。係数が約 −8.3 万ドルとマイナスなので、このルールに該当するデータ（全体の約 38 %）の y（price）は低い傾向にあるはずです。次のコードは該当する家と該当しない家の log(y) を箱ひげ図で比べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

applicable_data = np.log(
    y[X.query("sqft_living <= 3935.0 & lat <= 47.5314998626709").index]
)
not_applicable_data = np.log(
    y[X.query("not(sqft_living <= 3935.0 & lat <= 47.5314998626709)").index]
)

plt.figure(figsize=(10, 6))
plt.boxplot([applicable_data, not_applicable_data], labels=["ルールに該当", "ルールに該当しない"])
plt.ylabel("log(price)")
plt.grid()
plt.show()

実行結果の読み方 #

散布図では sqft_above が大きいほど price が高い右上がりの帯が見え、線形項の係数が正であることと一致します。箱ひげ図では「sqft_living <= 3935 かつ lat <= 47.53」に当たる家の log(price) の中央値が、当たらない家より明らかに低く、係数 −8.3 万ドルの向きが実データで裏づけられました。ルールの support が 0.38 と大きいので、この 1 本だけで全体の 4 割近い家の価格を押し下げる方向に働いています。

まとめ #

RuleFit は、勾配ブースティングの木の経路を 0/1 のルール特徴量に変換し、元の特徴量と一緒に Lasso に入れて係数を付けるハイブリッド手法です。L1 正則化が max_rules=100 の候補から不要なルールを係数 0 で落とすので、残った get_rules() の表が「どの条件が価格を何ドル動かすか」の一覧になります。support が 0.001 のようなルールは少数の例外に合わせたものなので、散布図や箱ひげ図で実データと突き合わせてから使ってください。精度だけが目的なら ランダムフォレスト や勾配ブースティングをそのまま使う方が高く、RuleFit は「係数つきルールで説明したい」場面で選ぶモデルです。