03.4.5
Hellinger距離
np.sqrt(p) - np.sqrt(q) のノルムから 10 行で実装し、ヒストグラムから計算するときに正規化とビン幅をどう扱うかを判断できるようになります。直感:平方根で「小さい確率の差」を公平に扱う #
サイコロ 2 個の出目分布 \(P\) と \(Q\) を比べるとき、確率そのものの差 \(p_i - q_i\) を足すと、0.4 と 0.2 の差 0.2 と、0.02 と 0.01 の差 0.01 では前者だけが効きます。ヘリンガー距離は先に平方根を取るので、\(\sqrt{0.4} - \sqrt{0.2} \approx 0.19\) と \(\sqrt{0.02} - \sqrt{0.01} \approx 0.04\) となり、小さい確率側の差も「比率」に近い感覚で反映されます。しかも平方根は 0 でも計算できるので、片方の分布にしかない出目があっても値が無限大になりません。全確率の平方根を並べたベクトル \((\sqrt{p_1}, \dots, \sqrt{p_n})\) は長さ 1 の単位ベクトルなので、ヘリンガー距離は 2 本の単位ベクトルのユークリッド距離を \(\sqrt{2}\) で割ったもの、と見ることもできます。
式で書くと何を測っているか #
離散分布 \(P = (p_1, \dots, p_n)\)、\(Q = (q_1, \dots, q_n)\) に対してヘリンガー距離は次で定義されます。
$$ H(P, Q) = \frac{1}{\sqrt{2}} \sqrt{ \sum_{i=1}^n \left(\sqrt{p_i} - \sqrt{q_i}\right)^2 } $$和の中は平方根ベクトルの差の 2 乗なので、根号全体は 2 本の単位ベクトルのユークリッド距離です。単位ベクトル同士の距離は直交するとき最大の \(\sqrt{2}\) になります。そこで \(1/\sqrt{2}\) を掛けて 0〜1 に正規化しています。0 に近いほど分布が類似、1 に近いほど異なり、対称性と三角不等式を満たすためメトリックとして扱えます。KL ダイバージェンスと異なり、\(q_i = 0\) かつ \(p_i > 0\) でも項は \(p_i\) で有限です。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:分布のずれを測る尺度は複数ある。重なりが消えたとき KL は発散し、Wasserstein は距離を測り続ける。ヘリンガー距離は重なりが消えると上限の 1 で止まる。
Python で計算する #
次のコードは 3 値の離散分布 \(p = [0.4, 0.4, 0.2]\) と \(q = [0.2, 0.5, 0.3]\) を正規化してから、平方根の差のノルムとしてヘリンガー距離を求めます。
| |
ヒストグラムから距離を求めるときは、まず和を 1 に正規化します。ビン幅が 2 つのヒストグラムで違うと同じ分布でも値がずれるので、np.histogram(..., bins=edges) のように同じビン境界を両方に使います。
他の分布距離と比べたときの特長 #
Jensen-Shannon 距離と同様に対称で三角不等式を満たすので、k-means や階層型クラスタリングの距離関数にそのまま渡せます。分布がゼロを含んでも \(\sqrt{0} = 0\) で項が消えるだけです。KL のように \(\epsilon\) を足して発散を回避する必要がありません。平方根変換により、0.001 と 0.004 のような小さな確率の差が過度に強調されず、外れ値のビンに引きずられにくい距離になります。
使いどころ #
ベイズ推論では事前分布と事後分布のヘリンガー距離で、データによって信念がどれだけ動いたかを 0〜1 で定量化します。トピックモデルの文書ごとのトピック分布のような確率ベクトルをクラスタリングする距離として使えば、ユークリッド距離より「分布の形」を反映した分け方になります。コンセプトドリフト検知では、訓練時の特徴量分布と本番の直近 1 週間の分布のヘリンガー距離を監視し、0.1〜0.2 を超えたらアラートを出す設定が多く使われます。
落とし穴 #
ヒストグラムのビン幅や分割方法によって距離が変わるため、ビン数を 10 にするか 50 にするかで同じデータでも値が 2 倍近く動くことがあり、離散化の設計を先に固定します。サンプルが数十件しかないと度数 0 のビンが偶然できて距離が過大になるので、各ビンに 1 を足すラプラス平滑化で安定させます。ヘリンガー距離は「分布の重なり」だけを見るので、重なりが消えると 1 で飽和し、山が 1 離れていても 10 離れていても同じ値になる点は Wasserstein 距離と併用して補います。
まとめ #
ヘリンガー距離は確率の平方根ベクトルのユークリッド距離を \(\sqrt{2}\) で割った値で、\(p = [0.4, 0.4, 0.2]\) と \(q = [0.2, 0.5, 0.3]\) なら 0.15 前後、分布が一致すれば 0、サポートが離れれば 1 になります。np.linalg.norm(np.sqrt(p) - np.sqrt(q)) / np.sqrt(2) の 1 行で実装でき、正規化を忘れるとサンプル数の差が距離に混ざります。KL ダイバージェンスと違ってゼロ確率でも有限で、対称・三角不等式を満たすため、クラスタリングの距離やドリフト監視の指標に向きます。重なりが消えると 1 で飽和します。山の位置の差まで測りたいときは ワッサースタイン距離 を併用します。
よくある質問 #
KLダイバージェンスとHellingerDistanceはどう使い分ける? #
KLダイバージェンスは非対称(P→QとQ→Pで値が異なる)で、どちらかの分布がゼロの点があると無限大になります。Hellinger距離は対称で0〜1の有界な値を返すため、解釈しやすく、クラスタリングなど距離が必要な場面で使いやすいです。モデルの学習目的(最尤推定)には KL、分布の類似度を「距離感」として直感的に把握したい場合は Hellinger が向きます。
Hellinger距離が0または1に近い場合の解釈は? #
0 に近いときは 2 つの分布がほぼ同一で、完全に一致すると 0 になります。1 に近いときは 2 つの分布のサポートがほぼ重なっておらず、完全に離れると 1 です。ドリフト検知では、訓練データと本番データの特徴量分布の Hellinger 距離が 0.1〜0.2 を超えた場合にアラートを設定するケースが多いです。
連続分布に対してHellingerDistanceを計算するには? #
連続分布では積分形式 \(H(P,Q) = \frac{1}{\sqrt{2}}\sqrt{\int(\sqrt{p(x)}-\sqrt{q(x)})^2dx}\) を使います。実務ではヒストグラムに変換してから離散版の式を適用するのが基本で、ビン数の選択で値が変わる点に注意します。SciPy に専用関数はないので上の hellinger のように手動で実装し、正規分布どうしのようにパラメトリックな分布なら平均と分散から求まる解析解を使います。
ゼロ確率の扱いはどうすればよい? #
分布にゼロが含まれてもHellinger距離自体は有限ですが(KLと異なり)、ヒストグラム推定でゼロビンが生じる場合はラプラススムージング(各ビンに微小値を加える)を適用するのが安全です。特にサンプル数が少ない場合、ゼロビンは真の確率がゼロなのではなく推定誤差によるものであることが多いです。
- JS ダイバージェンス — 情報理論ベースの距離
- ワッサースタイン距離 — 幾何的な分布間距離
- KL ダイバージェンス — 非対称な情報量的距離
分布の差と Hellinger 距離 #
2 つの正規分布の中心のずれを変えると、Hellinger 距離が 0 から 1 へ近づく一方、KL が発散し Wasserstein が線形に伸びる様子を比べられます。