02.2.6
ナイーブベイズ
GaussianNB、単語の出現回数には MultinomialNB、0/1 には BernoulliNB と、尤度の形をデータに合わせて選びます。読み終えると、alpha=1 のラプラス平滑化がなぜ必要か、独立仮定が破れても分類精度が落ちにくいのに確率値は信用できない理由を説明できるようになります。直感 #
迷惑メールの判定を考えます。これまでの 100 通のうち迷惑メールは 40 通で、そのうち 30 通に「無料」が入っていた。普通のメール 60 通では 6 通だけ。新しいメールに「無料」があれば、\(0.4 \times 30/40 = 0.30\) と \(0.6 \times 6/60 = 0.06\) を比べて迷惑メールと判定する。これがベイズの定理「事前確率 × 尤度 ∝ 事後確率」の中身です。単語が 1000 種類あっても、ナイーブベイズは「クラスが決まれば単語の出方は互いに独立」と割り切り、1000 個の確率をただ掛け合わせます。本当は「無料」と「プレゼント」はセットで出がちですが、この近似のおかげで数えて割るだけの学習になり、少量のデータでも安定します。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:各クラスを「平均と散らばり」で表し、どちらから出やすいかを比べるだけ。境界は曲線になる。
式で書くと何を掛けているか #
「クラスの割合 × 各特徴の出やすさ」を式にすると、クラス \(y\) と特徴ベクトル \(\mathbf{x} = (x_1, \ldots, x_d)\) に対して
$$ P(y \mid \mathbf{x}) \propto P(y) \prod_{j=1}^{d} P(x_j \mid y) $$と近似します。\(P(y)\) はクラス \(y\) の訓練データに占める割合、\(P(x_j \mid y)\) は「クラス \(y\) のとき特徴量 \(j\) がその値をとる確率」です。テキスト分類では出現回数を扱う多項ナイーブベイズ、出現/非出現を扱うベルヌーイ型、連続値にはガウス型など、課題に合わせて \(P(x_j \mid y)\) の形を選べます。
アルゴリズムの詳細 #
ガウシアンナイーブベイズ #
連続値の特徴量に対しては、各特徴量\(x_j\)がクラス\(y\)のもとで正規分布に従うと仮定します。
$$ P(x_j \mid y) = \frac{1}{\sqrt{2\pi\, \sigma_{yj}^2}} \exp\left(-\frac{(x_j - \mu_{yj})^2}{2\, \sigma_{yj}^2}\right) $$パラメーター\(\mu_{yj}\)と\(\sigma_{yj}^2\)は、クラス\(y\)に属する学習データから最尤推定で求めます。上のステップ再生で各クラスが楕円で描かれていたのは、特徴量ごとの \(\mu_{yj}\)(楕円の中心)と \(\sigma_{yj}^2\)(縦横の広がり)がこの 2 式で決まるからです。
$$ \mu_{yj} = \frac{1}{|C_y|} \sum_{i \in C_y} x_{ij}, \qquad \sigma_{yj}^2 = \frac{1}{|C_y|} \sum_{i \in C_y} (x_{ij} - \mu_{yj})^2 $$多項ナイーブベイズ #
テキスト分類など、特徴量が出現回数(カウントデータ)の場合に使います。クラス\(y\)のもとで特徴量\(j\)が出現する確率は、ラプラス平滑化を加えて以下で推定します。
$$ \hat{\theta}_{yj} = P(x_j \mid y) = \frac{N_{yj} + \alpha}{N_y + \alpha\, V} $$ここで\(N_{yj}\)はクラス\(y\)の全文書における特徴量\(j\)の総出現回数、\(N_y = \sum_j N_{yj}\)はクラス\(y\)の総単語数、\(V\)は語彙サイズ、\(\alpha\)は平滑化パラメーター(\(\alpha = 1\)がラプラス平滑化)です。
\(\alpha = 0\)の場合、学習データに1度も出現しない単語があると\(P(x_j \mid y) = 0\)となり、積全体が0になってしまいます。ラプラス平滑化はこのゼロ確率問題を回避します。MultinomialNB(alpha=1.0) の alpha がこの \(\alpha\) で、0.01 のような小さい値にすると訓練データに忠実、10 のような大きい値にすると全単語の確率が均されます。
対数空間での計算 #
実際の実装では、確率の積を直接計算すると数値的にアンダーフローを起こすため、対数空間で計算します。0.1 を 1000 回掛けると \(10^{-1000}\) になり、浮動小数点では 0 に丸められるからです。
$$ \log P(y \mid \mathbf{x}) = \log P(y) + \sum_{j=1}^{d} \log P(x_j \mid y) + \text{const.} $$予測クラスは対数事後確率が最大のものを選びます。
$$ \hat{y} = \arg\max_{y} \left[ \log P(y) + \sum_{j=1}^{d} \log P(x_j \mid y) \right] $$対数空間での加算は元の空間での乗算に対応し、predict_log_proba が返すのはこの値です。
計算量 #
| 処理 | 計算量 |
|---|---|
| 学習 | \(O(n \cdot d)\) — 各サンプルの各特徴量を1回走査 |
| 予測(1サンプル) | \(O(K \cdot d)\) — 各クラスについて\(d\)個の尤度を計算 |
\(n\)はサンプル数、\(d\)は特徴量数、\(K\)はクラス数です。学習も予測もデータサイズに対して線形であるため、10 万文書 × 5 万語彙のテキストでも数秒で動作します。
Pythonで決定領域と混同行列を見る #
次のコードは make_classification で 3 クラス 600 点の 2 次元データを作り、GaussianNB で学習して、平面全体の予測クラスを背景色で塗ります。あわせて訓練精度と混同行列を出力し、どのクラスどうしが混ざるかを確認します。
| |

実行結果の読み方 #
背景の 3 色が GaussianNB の予測領域で、境目は各クラスの正規分布の値が等しくなる曲線です。点の色と背景色が食い違う場所が訓練データ上の誤分類で、print される混同行列の対角線以外の数字に対応します。塊が斜めに伸びているのに領域の境界が縦横の軸に沿った形に見えるのは、特徴量 1 と 2 を独立と仮定して分散を軸ごとに別々に推定しているためです。
ナイーブベイズは特徴量の条件付き独立性を仮定しているため、特徴量間に強い相関がある場合は確率の推定値が不正確になります。ただしクラスの順位は保たれることが多く、分類精度自体は大きく低下しないこともあります。確率値を直接使う場合はCalibratedClassifierCVで較正してください。
テキスト分類にはMultinomialNBとTfidfVectorizerの組み合わせが定番です。alphaパラメーターでラプラス平滑化の強さを調整し、未知語によるゼロ確率問題を回避してください。
スムージングと決定境界 #
スムージングパラメータを変えると決定境界がどう変化するか確認できます。
使いどころと落とし穴 #
ナイーブベイズが最も向くのは、特徴量が数万次元で疎なテキスト分類(スパム判定、カテゴリ分け)で、MultinomialNB は学習データ 1000 通でも実用的な精度を出します。苦手なのは「身長と体重」のように強く相関した特徴量で、同じ証拠を 2 回数えるため確率が 0.99 のような極端な値になります。クラスの順位は合っていても predict_proba の値をそのまま意思決定に使ってはいけず、必要なら CalibratedClassifierCV で較正します。間違えやすい設定は alpha=0 で、訓練データに 1 回も出なかった単語を含む文書の確率がすべて 0 になります。特徴量間の相関を正面から扱いたいなら 線形判別分析 が、確率の精度を重視するなら ロジスティック回帰 が次の候補です。
まとめ #
ナイーブベイズは、事前確率 \(P(y)\) に各特徴量の尤度 \(P(x_j \mid y)\) を掛け合わせ、積が最大のクラスを選ぶ分類手法です。「クラスが決まれば特徴量は独立」という仮定のおかげで、学習はクラスごとの平均・分散(GaussianNB)や単語の出現回数(MultinomialNB)を数えるだけの \(O(nd)\) で済みます。実装では積を対数の和に直してアンダーフローを防ぎ、alpha=1 のラプラス平滑化で未知語によるゼロ確率を避けます。独立仮定が破れても分類精度は保たれやすい一方、確率値は過信できないので、値そのものを使う場面では CalibratedClassifierCV で較正を挟んでください。
参考文献 #
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.