Ordered Target Statistics

Prokhorenkova, Liudmila, et al. “CatBoost: unbiased boosting with categorical features.” arXiv preprint arXiv:1706.09516 (2017).

サンプルデータ #

「人口総数」を予測したいとして、「元号」をエンコードしたいとします。

import pandas as pd

X = pd.read_csv("../data/sample.csv")
TARGET_NAME = "人口総数"
FEATURE_NAME = "元号"
X.head()

	元号	和暦	西暦	人口総数	町名
0	大正	9.0	1920.0	394748	A町
1	大正	9.0	1920.0	31421	B町
2	大正	9.0	1920.0	226993	C町
3	大正	9.0	1920.0	253689	D町
4	大正	9.0	1920.0	288602	E町

Ordered Target Statistics #

from category_encoders.cat_boost import CatBoostEncoder
from sklearn.compose import make_column_transformer

c_ots = CatBoostEncoder()

y = X[TARGET_NAME]
X[f"{FEATURE_NAME}_ots"] = c_ots.fit_transform(X[FEATURE_NAME], y)

結果を確認する #

カテゴリ変数の列が CatBoostEncoder でエンコードされていることを確認します。

X[[FEATURE_NAME, f"{FEATURE_NAME}_ots"]]

	元号	元号_ots
0	大正	109247.087755
1	大正	251997.543878
2	大正	178472.029252
3	大正	190602.271939
4	大正	203219.617551
...	...	...
975	平成	101664.388810
976	平成	101406.646760
977	平成	101126.513717
978	平成	100845.716013
979	平成	100588.073626

980 rows × 2 columns

エンコード結果の分布を確認する #

import matplotlib.pyplot as plt
import japanize_matplotlib

plt.figure(figsize=(8, 4))
for i, ci in enumerate(X[FEATURE_NAME].unique()):
    plt.hist(
        X.query(f"{FEATURE_NAME}=='{ci}'")[f"{FEATURE_NAME}_ots"], label=ci, alpha=0.5
    )

plt.title("エンコードされた結果の分布")
plt.legend(title=FEATURE_NAME)

エンコード結果の分布を確認する figure