03.4.3
Wasserstein距離
scipy.stats.wasserstein_distance で 1 次元の距離を計算し、CDF の表から手計算で同じ値を再現し、多次元で Sinkhorn 近似が必要になる理由を説明できるようになります。直感:山を動かすコストとして分布の差を測る #
砂場に左寄りの山 \(P\) があり、これを右寄りの山 \(Q\) の形に作り直すとします。スコップ 1 杯の砂を 1 m 運ぶコストを 1 とすると、全部の砂をいちばん効率よく運んだときの合計コストがワッサースタイン距離です。山の形が同じで位置が 3 m ずれているだけなら、全部を 3 m 運ぶのでコストは 3、つまり距離も 3 になります。KL ダイバージェンスはこの状況で「重なりがない」と見て無限大を返しますが、ワッサースタインは「3 m 分遠い」と答えるので、2 つの山が近づいているのか離れているのかを追えます。
式で書くと何を積分しているか #
1 次元離散分布 \(P\) と \(Q\) の 1-Wasserstein 距離は、累積分布関数 (CDF) の差を積分した量として表せます。
$$ W_1(P, Q) = \int_{-\infty}^{\infty} |F_P(x) - F_Q(x)| \, dx $$\(F_P(x) - F_Q(x)\) は「位置 \(x\) までに \(P\) が積み上げた砂と \(Q\) が積み上げた砂の差」で、その差の分だけ砂を \(x\) の右へ運ぶ必要があるため、全区間で足し合わせると運搬コストになります。多次元の場合は最適輸送問題として定式化され、各点から各点へいくら運ぶかの輸送計画 \(\gamma\) を全て試して、コストが最小になる計画の値を距離とします。平均が異なるだけでなく、ばらつきや形状の違いも「運ぶ距離」として反映されるのが特徴です。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:分布のずれを測る尺度は複数ある。重なりが消えたとき KL は発散し、Wasserstein は距離を測り続ける。中心のずれに比例して Wasserstein がまっすぐ伸びる。
Python で計算する #
次のコードは、平均 0・標準偏差 1 と平均 1・標準偏差 1.5 の正規分布から 1,000 点ずつサンプルを取り、1 次元のワッサースタイン距離を計算します。
| |
scipy.stats.wasserstein_distance は 1 次元の距離を計算します。多次元の場合は pot(Python Optimal Transport)ライブラリの Sinkhorn 距離などの近似解法が実務でよく使われます。
手計算で確かめる(1D 離散分布) #
2 つのヒストグラム \(P = [0.4, 0.3, 0.2, 0.1]\) と \(Q = [0.1, 0.2, 0.3, 0.4]\) の Wasserstein 距離を CDF 差の絶対値として計算します。
| ビン | \(P\) | \(Q\) | CDF(P) | CDF(Q) | |CDF差| | | — | —: | —: | —: | —: | —: | | 1 | 0.4 | 0.1 | 0.4 | 0.1 | 0.3 | | 2 | 0.3 | 0.2 | 0.7 | 0.3 | 0.4 | | 3 | 0.2 | 0.3 | 0.9 | 0.6 | 0.3 | | 4 | 0.1 | 0.4 | 1.0 | 1.0 | 0.0 |
$$W_1 = 0.3 + 0.4 + 0.3 + 0.0 = 1.0$$表の CDF 差は「そのビンまでに \(P\) が \(Q\) より多く積み上げた砂の量」で、ビン幅 1 なので各行の差を足すだけで運搬コスト 1.0 になります。次のコードは同じ分布を位置と重みで渡し、1.0 が返ることを確かめます。
| |
他の分布距離との比較 #
| 指標 | 特徴 | サポート不一致時 |
|---|---|---|
| Wasserstein | 形状+位置の差を直感的に測る | 有限値(安定) |
| KL ダイバージェンス | 情報量的な距離、非対称 | 無限大になりうる |
| JS ダイバージェンス | KL を対称化 | 常に有限 |
| ヘリンガー距離 | 平方根で 0〜1 に正規化 | 常に有限 |
Wasserstein は KL と異なり、分布のサポートが重ならなくても有限値を返すため、生成モデル(WGAN)の損失関数に採用されています。JS とヘリンガーも有限ですが、重なりが消えると上限値で飽和して「どれだけ遠いか」が分からなくなる点で Wasserstein と違います。
他の距離と比べたときの特長 #
平均が同じでも分散やモードの数が異なれば砂を運ぶ距離が変わるので、形状の違いに敏感です。KL のようにサポートがずれて無限大になることがなく、外れ値 1 点の影響もその点の重み(1/n)× 移動距離に限られるため、比較的頑健な指標です。一方、高次元では輸送計画 \(\gamma\) の候補が爆発して最適輸送の計算が \(O(n^3 \log n)\) 級に重くなるため、エントロピー正則化を加えた Sinkhorn 距離などの高速化手法を使います。
使いどころ #
生成モデルの評価では、生成サンプルと実データの分布の距離を測り、学習が進むにつれて値が下がるかを追います。品質検査やシミュレーションでは、製品寸法のヒストグラム全体が設計分布からどれだけずれたかを 1 つの数で表せます。時系列モニタリングでは、月ごとの特徴量分布を基準月と比べ、距離が閾値を超えたらアラートを出します。
落とし穴 #
数値スケールが大きいと距離もそのまま大きくなるため、年収(万円)と年齢(歳)のように単位が違う特徴量は StandardScaler で標準化してから比較すると解釈しやすくなります。距離が小さくても平均や分散の差が残る場合があるため、平均差や KS 検定の統計量などと併用して読みます。Sinkhorn 距離は正則化パラメータ \(\epsilon\) が大きいほど真の距離から離れて滑らかになるため、比較目的に応じて 0.01〜0.1 の範囲でチューニングします。
まとめ #
ワッサースタイン距離は「分布 \(P\) の砂山を \(Q\) の形に作り直す最小コスト」で、1 次元では CDF の差の積分に等しく、\(P = [0.4, 0.3, 0.2, 0.1]\) と \(Q = [0.1, 0.2, 0.3, 0.4]\) なら 1.0 になります。scipy.stats.wasserstein_distance にサンプルか「位置 + 重み」を渡せば計算でき、多次元では pot の Sinkhorn 近似を使います。KL や JS が重なりの消失で発散・飽和する場面でも、山が 3 離れていれば 3 と測り続けるので、WGAN の損失やドリフト検知で安定して働きます。スケールの影響を受けるため標準化を先に行い、KL ダイバージェンス や JS ダイバージェンス と組み合わせて分布比較を多角的に行います。
よくある質問 #
KLダイバージェンスとWasserstein距離の使い分けは? #
KLダイバージェンスは分布の重なりがない(サポートが異なる)場合に無限大になるため、GANの学習など分布が離れた状況では不安定です。Wasserstein距離は分布が重なっていなくても有限の値を返し、分布間の「地理的な距離」に敏感です。ドリフト検知やGAN評価ではWasserstein距離が安定して機能します。ただし計算コストはKLよりも高くなります。
高次元データでWasserstein距離を計算するには? #
高次元ではOT(最適輸送)問題の計算量が爆発するため、近似手法を使います。Sinkhorn 距離はエントロピー正則化を加えて計算量を削減する方法で、pot ライブラリ(Python Optimal Transport)に実装があります。スライスド Wasserstein 距離は、ランダムな 1 次元投影ごとに 1 次元の距離を計算して平均する近似で、高次元でも効率的です。PCA やオートエンコーダーで低次元に圧縮してから計算する方法も実用的です。
GANの学習でなぜWasserstein距離が使われる? #
WGAN(Wasserstein GAN)はバニッシンググラジエント問題を緩和するためにWasserstein距離を損失関数として使います。Wasserstein距離は生成分布と実データ分布が重なっていなくても滑らかな勾配を提供するため、学習が安定します。
データドリフト検知での使い方は? #
本番環境でのデータドリフト監視に活用されています。訓練データと本番データの特徴量分布を定期的に比較し、Wasserstein距離が閾値を超えたらアラートを発する仕組みが一般的です。evidentlyやalibi-detectなどのドリフト検知ライブラリが内部で使用しています。
- ヘリンガー距離 — 確率距離の別定義
- JS ダイバージェンス — 情報理論ベースの距離
- KL ダイバージェンス — 情報量的距離
分布の差と Wasserstein 距離 #
2 つの正規分布の中心のずれを変えると、Wasserstein 距離がずれに比例してまっすぐ伸び、KL や JS と形が違うことを確認できます。