One-Hot Encoding と Label Encoding の違いは？

Label Encoding はカテゴリを整数に変換するだけで、線形モデルでは順序関係を誤って学習する恐れがあります。One-Hot は順序を持ち込まず安全ですが次元が増えます。決定木系では Label Encoding でも問題ないことが多いです。

drop='first' は使うべき？

線形回帰やロジスティック回帰のように多重共線性が問題になるモデルでは drop='first' で1つの列を落とします。木モデルや正則化付きモデルではドロップ不要です。

カテゴリが多すぎて次元爆発する場合は？

Target Encoding、Frequency Encoding、Embedding のいずれかに切り替えます。または出現頻度が低いカテゴリを 'Other' に統合して次元を抑える方法も有効です。

One-Hot Encoding

01.4.1

One-Hot Encoding

最終更新 2024-06-01 読了時間 2 分

まとめ

One-Hot Encoding は、「元号」のようなカテゴリの列を、カテゴリの種類の数だけ 0/1 の列に展開する最も基本的な数値化です。「明治・大正・昭和・平成・令和」の 5 種類なら 5 列ができ、各行はちょうど 1 列だけが 1 になります。このページでは scikit-learn の OneHotEncoder(handle_unknown="ignore", sparse_output=True) を ColumnTransformer に入れ、数値列「西暦」と一緒に Ridge へ渡す Pipeline を組み、get_feature_names_out で展開後の列名を取り出します。カテゴリ間に大小を持ち込まないので線形モデルの係数をそのまま解釈できますが、「町名」が 1,000 種類あれば 1,000 列になる次元爆発が弱点で、その場合は Count / Target Encoding に切り替えます。

直感 #

アンケートの「血液型」を A=1、B=2、O=3、AB=4 と番号にして回帰に入れると、モデルは「AB 型は A 型の 4 倍」という存在しない関係を学びます。One-Hot Encoding はこれを避けるために、「A 型か？」「B 型か？」「O 型か？」「AB 型か？」という 4 つの Yes/No の列に分けます。どの 2 つの血液型も同じだけ離れた表現になり、線形モデルの係数は「その血液型であることが目的変数を何単位動かすか」とそのまま読めます。線形モデル・決定木系モデルいずれでも扱いやすい一方で、カテゴリ数が増えると次元爆発が起こりやすく、学習・推論コストに直結します。

カテゴリ列（元号・町名）種類を列挙種類ごとに 0/1 の列を作る数値列（西暦）と横に並べる Ridge で学習列名を取り出して係数を読む

いつ採用するか #

カテゴリ種類が 2〜10 程度で、解釈性を保ちたいとき
線形モデル（ロジスティック回帰、GLM）に投入して係数を読み解きたいとき
木系アルゴリズムに入れる前に、カテゴリ間の順序関係を入れたくないとき

注意すべきケース #

カテゴリ数が数百を超える場合は、列数がそのまま数百本になるため Count / Target Encoding を検討します。FaaS や Web API のように推論のレスポンス要件が厳しい基盤では、疎行列を密行列にしたときのメモリ増加が応答時間に直結します。多値カテゴリに対して drop='first' を設定すると、多重共線性は避けられて解釈性は保てますが、落とした基準カテゴリの行がすべて 0 になるため、未知カテゴリの行と区別がつかなくなる点に注意が要ります。

実装フロー #

1. サンプルデータの読み込み #

次のコードは総務省の人口データを読み込み、カテゴリ列と数値列を変数名で分けておき、先頭 5 行を表示します。

1
2
3
4
5
6
import pandas as pd

df = pd.read_csv("../data/sample.csv")
categorical_cols = ["元号", "町名"]
numeric_cols = ["西暦", "人口総数"]
df[categorical_cols + numeric_cols].head()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

4-5 行目列を役割ごとにリストで持つ
「元号」「町名」はカテゴリ、「西暦」「人口総数」は数値と、列名をリストに分けておきます。次のブロックの ColumnTransformer はこのリストを見て、どの列を OneHotEncoder に、どの列をそのまま通すかを決めます。列を追加したいときもこのリストを直すだけで済みます。
6 行目展開前の値を目で確認する
head() で「元号」に何種類の値があるか、「町名」に表記揺れ（「○○町」と「○○町」の末尾スペースなど）がないかを見ます。表記揺れがあると同じ町が別のカテゴリとして 2 列に展開され、気づかないまま次元が増えます。
3 行目相対パスはノートブックの位置に依存する
"../data/sample.csv" は実行ファイルの 1 つ上の data フォルダを指します。Colab などで FileNotFoundError になる場合は、サンプルデータのページの手順でファイルを置いた場所に合わせてパスを直します。

2. ColumnTransformer で数値とカテゴリを同時処理 #

次のコードは、カテゴリ列を One-Hot に展開し数値列はそのまま通す前処理と Ridge 回帰を 1 つの Pipeline にまとめ、「人口総数」を目的変数として学習します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.linear_model import Ridge
from sklearn.pipeline import Pipeline

ohe = OneHotEncoder(handle_unknown="ignore", sparse_output=True)

preprocess = ColumnTransformer(
    transformers=[
        ("cat", ohe, categorical_cols),
        ("num", "passthrough", numeric_cols),
    ],
    remainder="drop",
)

model = Pipeline(
    steps=[
        ("preprocess", preprocess),
        ("estimator", Ridge())
    ]
)
model.fit(df[categorical_cols + numeric_cols], df["人口総数"])

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

6 行目未知カテゴリを 0 ベクトルで受け流す
handle_unknown="ignore" を指定しておくと、推論時に学習時になかった町名が来ても例外にならず、その行のカテゴリ列がすべて 0 になります。既定の "error" のままだと本番で新しい町が 1 件現れただけで推論が止まります。sparse_output=True は 0 が大半の行列を疎行列（非ゼロの位置と値だけを持つ形式）で返す指定で、町名が 1,000 種類あっても 1 行あたり 2 個の 1 しか記憶しないためメモリを節約でき、線形モデルで高速に学習できます。
8-14 行目列ごとに処理を振り分ける
ColumnTransformer は「この列にはこの変換」を並べる部品で、"cat" の列は ohe に、"num" の列は "passthrough" でそのまま通します。remainder="drop" はリストに書かれていない列を捨てる指定で、意図しない列（ID など）がモデルに混ざるのを防ぎます。
16-21 行目前処理とモデルを 1 本にする
Pipeline にまとめると model.fit の中で One-Hot と Ridge の学習が順に走り、model.predict でも同じ展開が自動で適用されます。前処理を別に書くと「学習時は 5 列に展開したのに推論時は 4 列」という不一致が起きやすく、Pipeline はそれを構造的に防ぎます。Ridge を選んでいるのは、One-Hot で増えた列どうしの多重共線性を L2 正則化で安定させるためです。
22 行目目的変数の列を特徴量にも入れている点に注意
numeric_cols に「人口総数」が含まれたまま fit しているので、この例では目的変数そのものが特徴量に入っています。パイプラインの動きを確かめるサンプルとしては動きますが、実際の予測では numeric_cols から「人口総数」を外さないと R² がほぼ 1.0 になる見かけ上の高精度（リーク）になります。

3. 特徴量名の確認 #

次のコードは、学習済みの Pipeline から One-Hot 展開後の列名を取り出し、先頭 10 本を表示します。

1
2
3
feature_names = model.named_steps["preprocess"]\
    .named_transformers_["cat"].get_feature_names_out(categorical_cols)
feature_names[:10]

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1-2 行目Pipeline の中の部品を名前でたどる
named_steps["preprocess"] で ColumnTransformer を、named_transformers_["cat"] でその中の学習済み OneHotEncoder を取り出しています。末尾にアンダースコアが付く named_transformers_ は fit 後にだけ存在する属性で、学習前に呼ぶと AttributeError になります。
2 行目get_feature_names_out で「元号_平成」のような名前を得る
get_feature_names_out(categorical_cols) は、展開後の各列に「元の列名_カテゴリ値」の形で名前を付けます。この名前がないと Ridge の coef_ は 1,000 個の数値の列でしかなく、どの係数がどの町名のものか分かりません。
3 行目先頭 10 本で展開の規模を把握する
feature_names[:10] で列名の形式を確かめ、len(feature_names) で総数を見れば、「町名」で何列に膨らんだかが分かります。モデルから重要度や係数を読む際にこの配列と coef_ を zip で並べると、分析レポートがそのまま書けます。

よくある落とし穴と対策 #

課題	対策
高次元化で学習時間が肥大化	High-cardinality な列を別手法（Count Encoding 等）に切り替え、10件未満のカテゴリを `Other` に集約
ワンホット列が全て 0 になるサンプルが発生	`handle_unknown="ignore"` + モデル入力にバイアス項（定数列）を追加しておく
カテゴリの追加・削除で推論が壊れる	学習時に ColumnTransformer を保存し、必ず同じ順序・列構成で推論する。`sklearn` の `Pipeline` で一体管理する

データアナリスト向けチェックリスト #

最初に確認したいのはカテゴリの粒度です。町名が 1,000 件ある場合は区や市のような上位区分にまとめないと、get_feature_names_out の結果が 1,000 本になって次元が増えすぎます。二つ目はベースラインの線形モデルで係数を確認したかで、「令和」の係数の符号が期待と異なる場合は、データのリークや前処理の問題を疑います。三つ目は推論環境での疎行列サポートで、一部のモデルサーバーでは sparse_output=True の疎行列が扱えないため、toarray() で密行列化すると 1,000 列 × 行数ぶんのメモリが数倍に膨らむことを事前に見積もります。

参考リンク #

sklearn.preprocessing.OneHotEncoder
sklearn.compose.ColumnTransformer
Categorical feature encoding トレードオフの整理 (external blog) (※参考記事を適宜追加)