02.5.5
ガウス混合モデル (GMM)
full にすれば楕円形に伸びたクラスタも 1 つの成分で捉えられます。成分数 K は BIC が最小になる値を選び、n_init を増やして初期値の運に左右されないようにするのが実務の定石です。- k-meansクラスタリング の概念を先に学ぶと理解がスムーズです
直感 #
身長のヒストグラムに山が 2 つあるとき、「男性の分布と女性の分布が混ざっている」と考えるのが自然です。GMM はこの発想を多次元に広げ、散布図の点群を K 個の楕円(それぞれが平均 \(\boldsymbol{\mu}_k\) と共分散 \(\boldsymbol{\Sigma}k\) を持つ正規分布)の重ね合わせとして説明します。k-means は点ごとに「いちばん近い重心」を 1 つ返すだけです。GMM はそうではなく、「クラスタ \(k\) がサンプル \(x_i\) を生み出した確率 \(\gamma{ik}\)」を全成分について返します。2 つの楕円が重なる場所にある点は 0.6 と 0.4 のように両方に属し、この曖昧さを捨てないのがソフトクラスタリングの意味です。
推定には EM アルゴリズムを使います。楕円の位置が仮に決まれば各点の責務が計算でき(E-step)、責務が決まれば責務を重みにした加重平均で楕円の位置と形を更新できる(M-step)。この 2 つを交互に繰り返すと、対数尤度が増えなくなった所で止まります。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:所属を確率で持つのが k-means との違い。境界付近の点は両方に半分ずつ属する。
式で書くと何を推定しているか #
「K 個の楕円の重ね合わせ」を式にすると、点 \(\mathbf{x}\) の確率密度は K 個の正規分布の加重和になります。
$$ p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \, \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k), $$\(\pi_k\) は混合係数(非負で総和が 1)で、図の上では「k 番目の楕円に全体の何割の点が入っているか」です。\(\boldsymbol{\mu}_k\) は楕円の中心、\(\boldsymbol{\Sigma}_k\) は楕円の向きと太さを決める共分散行列です。EM アルゴリズムは、この 3 種類のパラメータを次の 2 手順で収束まで更新します。
まず E-step では、現在のパラメータのもとで責務 \(\gamma_{ik}\) を求めます。分子が「成分 k がこの点を生む密度」、分母が「全成分の合計」なので、各点について K 個の責務を足すと 1 になります。
$$ \gamma_{ik} = \frac{\pi_k \, \mathcal{N}(\mathbf{x}_i \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)} {\sum_{j=1}^K \pi_j \, \mathcal{N}(\mathbf{x}_i \mid \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)}. $$次に M-step では、責務を重みとして \(\pi_k, \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k\) を更新します。たとえば \(\boldsymbol{\mu}k\) は責務 \(\gamma{ik}\) で重み付けした全点の加重平均で、k-means の「割り当てた点の平均」の重み付き版です。E-step と M-step を交互に繰り返すと対数尤度 \(\sum_i \log p(\mathbf{x}_i)\) は単調に増え、局所最大で止まります。局所最大なので、n_init で初期値を複数試して最良の尤度を採る必要があります。
Pythonで確かめる #
次のコードは make_blobs で広がりの違う 3 つの塊(cluster_std が 1.0, 1.4, 0.8)を 600 点作り、GaussianMixture(n_components=3, covariance_type="full", n_init=8) で学習します。図では各点を責務が最大の成分の色で塗り、推定した 3 つの平均 \(\boldsymbol{\mu}_k\) を赤い × で重ね、最後に対数尤度・混合係数・責務行列の形を表示します。
| |

実行結果の読み方 #
図では 3 つの塊がそれぞれ別の色で塗られ、赤い × が各塊の中心に乗ります。cluster_std=1.4 の広い塊の端が隣の塊に奪われていないことを確認してください。出力の「混合係数」は 0.33 前後の 3 つの値です。「責務行列の形状」は (600, 3) で、600 点それぞれが 3 成分への所属確率を持っていることを意味します。責務の中身を responsibilities.max(axis=1) で見ると、塊の中心では 1.0 に近く、塊の境目では 0.5 台まで下がります。
EMアルゴリズムは局所最適解に収束するため、初期値によって結果が変わります。n_initを10以上に設定して複数回実行し、もっとも対数尤度が高い結果を採用してください。また、共分散行列の形をfullにすると高次元データではパラメーター数が急増し、過学習しやすくなります。
コンポーネント数の選択にはBICを使うのが実践的です。GaussianMixtureのbicメソッドで複数のn_componentsを比較し、BICが最小になる値を選んでください。クラスターの形が球状に近い場合はcovariance_type="diag"にするとパラメーター数を抑えられます。
成分数と混合ガウス分布 #
スライダーで n_components を 2 から 8 まで動かすと、200 点の割り当てと BIC・AIC が変わります。BIC は 2 で 935.9、3 で 571.4、4 で 514.4 と下がり、5 以上では再び増えるので、この例では 4 成分が BIC の選ぶ答えです。AIC は 4 の 438.5 が最小ですが、BIC より罰則が軽いので 5 や 6 でも値があまり増えません。
使いどころと落とし穴 #
GMM が向くのは、クラスタが楕円形で広がり方がまちまちなデータと、「どちらに属するか迷う点」をそのまま確率で扱いたい場面です。所属確率は異常検知(score_samples が低い点を外れ値とみなす)や、クラスタ境界の点だけ人手で確認する運用に直結します。落とし穴は 3 つあります。EM は局所最大に落ちるので n_init を 10 以上にして最良の尤度を採ること、full 共分散は次元 d に対して \(d(d+1)/2\) 個のパラメータを成分ごとに持つので高次元では diag や tied に切り替えること、そして成分の分散が 0 に潰れて尤度が発散する退化には reg_covar で対処することです。クラスタが三日月のように曲がっているときは 1 つの楕円では表せないので、HDBSCAN のような密度ベース手法を選びます。
まとめ #
ガウス混合モデルは K 個の正規分布の加重和 \(\sum_k \pi_k \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}k)\) でデータを表し、EM アルゴリズムの E-step(責務の計算)と M-step(加重平均による更新)を対数尤度が止まるまで繰り返します。predict_proba が返す責務 \(\gamma{ik}\) がソフトクラスタリングの本体で、境界の点を 0.5 対 0.5 のように表現できる点が k-means との差です。成分数は上のスライダーの通り BIC が最小になる値を選び、n_init を増やして局所最大を避けます。高次元では covariance_type を diag にしてパラメータ数を抑えるのが実務上の対処です。
参考文献 #
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society, Series B.
- scikit-learn developers. (2024). Gaussian Mixture Models. https://scikit-learn.org/stable/modules/mixture.html