K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

Wasserstein距離

上級

03.4.3

Wasserstein距離

最終更新 2020-04-08 読了時間 3 分
まとめ
ワッサースタイン距離(Earth Mover’s Distance)は、分布 \(P\) の「土の山」を分布 \(Q\) の形に作り直すのに必要な最小の運搬コスト(土の量 × 移動距離)です。1 次元では累積分布関数の差の面積 \(\int |F_P - F_Q| , dx\) と一致し、\(P = [0.4, 0.3, 0.2, 0.1]\) を \(Q = [0.1, 0.2, 0.3, 0.4]\) に移す例では 1.0 になります。KL ダイバージェンスが分布の重なりが消えると無限大になるのに対し、ワッサースタインは山が 1 離れていれば 1、10 離れていれば 10 と「どれだけ遠いか」を測り続けるので、WGAN の損失やドリフト検知に向きます。読み終えると、scipy.stats.wasserstein_distance で 1 次元の距離を計算し、CDF の表から手計算で同じ値を再現し、多次元で Sinkhorn 近似が必要になる理由を説明できるようになります。

直感:山を動かすコストとして分布の差を測る #

砂場に左寄りの山 \(P\) があり、これを右寄りの山 \(Q\) の形に作り直すとします。スコップ 1 杯の砂を 1 m 運ぶコストを 1 とすると、全部の砂をいちばん効率よく運んだときの合計コストがワッサースタイン距離です。山の形が同じで位置が 3 m ずれているだけなら、全部を 3 m 運ぶのでコストは 3、つまり距離も 3 になります。KL ダイバージェンスはこの状況で「重なりがない」と見て無限大を返しますが、ワッサースタインは「3 m 分遠い」と答えるので、2 つの山が近づいているのか離れているのかを追えます。

式で書くと何を積分しているか #

1 次元離散分布 \(P\) と \(Q\) の 1-Wasserstein 距離は、累積分布関数 (CDF) の差を積分した量として表せます。

$$ W_1(P, Q) = \int_{-\infty}^{\infty} |F_P(x) - F_Q(x)| \, dx $$

\(F_P(x) - F_Q(x)\) は「位置 \(x\) までに \(P\) が積み上げた砂と \(Q\) が積み上げた砂の差」で、その差の分だけ砂を \(x\) の右へ運ぶ必要があるため、全区間で足し合わせると運搬コストになります。多次元の場合は最適輸送問題として定式化され、各点から各点へいくら運ぶかの輸送計画 \(\gamma\) を全て試して、コストが最小になる計画の値を距離とします。平均が異なるだけでなく、ばらつきや形状の違いも「運ぶ距離」として反映されるのが特徴です。


何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:分布のずれを測る尺度は複数ある。重なりが消えたとき KL は発散し、Wasserstein は距離を測り続ける。中心のずれに比例して Wasserstein がまっすぐ伸びる。

Python で計算する #

次のコードは、平均 0・標準偏差 1 と平均 1・標準偏差 1.5 の正規分布から 1,000 点ずつサンプルを取り、1 次元のワッサースタイン距離を計算します。

1
2
3
4
5
6
7
8
9
import numpy as np
from scipy.stats import wasserstein_distance

x = np.random.normal(0, 1, size=1_000)
y = np.random.normal(1, 1.5, size=1_000)

dist = wasserstein_distance(x, y)

print(f"Wasserstein distance: {dist:.3f}")

scipy.stats.wasserstein_distance は 1 次元の距離を計算します。多次元の場合は pot(Python Optimal Transport)ライブラリの Sinkhorn 距離などの近似解法が実務でよく使われます。


手計算で確かめる(1D 離散分布) #

2 つのヒストグラム \(P = [0.4, 0.3, 0.2, 0.1]\) と \(Q = [0.1, 0.2, 0.3, 0.4]\) の Wasserstein 距離を CDF 差の絶対値として計算します。

| ビン | \(P\) | \(Q\) | CDF(P) | CDF(Q) | |CDF差| | | — | —: | —: | —: | —: | —: | | 1 | 0.4 | 0.1 | 0.4 | 0.1 | 0.3 | | 2 | 0.3 | 0.2 | 0.7 | 0.3 | 0.4 | | 3 | 0.2 | 0.3 | 0.9 | 0.6 | 0.3 | | 4 | 0.1 | 0.4 | 1.0 | 1.0 | 0.0 |

$$W_1 = 0.3 + 0.4 + 0.3 + 0.0 = 1.0$$

表の CDF 差は「そのビンまでに \(P\) が \(Q\) より多く積み上げた砂の量」で、ビン幅 1 なので各行の差を足すだけで運搬コスト 1.0 になります。次のコードは同じ分布を位置と重みで渡し、1.0 が返ることを確かめます。

1
2
3
4
from scipy.stats import wasserstein_distance
print(wasserstein_distance([1,2,3,4], [1,2,3,4],
                           [0.4,0.3,0.2,0.1], [0.1,0.2,0.3,0.4]))
# 1.0

他の分布距離との比較 #

指標特徴サポート不一致時
Wasserstein形状+位置の差を直感的に測る有限値(安定)
KL ダイバージェンス情報量的な距離、非対称無限大になりうる
JS ダイバージェンスKL を対称化常に有限
ヘリンガー距離平方根で 0〜1 に正規化常に有限

Wasserstein は KL と異なり、分布のサポートが重ならなくても有限値を返すため、生成モデル(WGAN)の損失関数に採用されています。JS とヘリンガーも有限ですが、重なりが消えると上限値で飽和して「どれだけ遠いか」が分からなくなる点で Wasserstein と違います。


他の距離と比べたときの特長 #

平均が同じでも分散やモードの数が異なれば砂を運ぶ距離が変わるので、形状の違いに敏感です。KL のようにサポートがずれて無限大になることがなく、外れ値 1 点の影響もその点の重み(1/n)× 移動距離に限られるため、比較的頑健な指標です。一方、高次元では輸送計画 \(\gamma\) の候補が爆発して最適輸送の計算が \(O(n^3 \log n)\) 級に重くなるため、エントロピー正則化を加えた Sinkhorn 距離などの高速化手法を使います。


使いどころ #

生成モデルの評価では、生成サンプルと実データの分布の距離を測り、学習が進むにつれて値が下がるかを追います。品質検査やシミュレーションでは、製品寸法のヒストグラム全体が設計分布からどれだけずれたかを 1 つの数で表せます。時系列モニタリングでは、月ごとの特徴量分布を基準月と比べ、距離が閾値を超えたらアラートを出します。


落とし穴 #

数値スケールが大きいと距離もそのまま大きくなるため、年収(万円)と年齢(歳)のように単位が違う特徴量は StandardScaler で標準化してから比較すると解釈しやすくなります。距離が小さくても平均や分散の差が残る場合があるため、平均差や KS 検定の統計量などと併用して読みます。Sinkhorn 距離は正則化パラメータ \(\epsilon\) が大きいほど真の距離から離れて滑らかになるため、比較目的に応じて 0.01〜0.1 の範囲でチューニングします。


まとめ #

ワッサースタイン距離は「分布 \(P\) の砂山を \(Q\) の形に作り直す最小コスト」で、1 次元では CDF の差の積分に等しく、\(P = [0.4, 0.3, 0.2, 0.1]\) と \(Q = [0.1, 0.2, 0.3, 0.4]\) なら 1.0 になります。scipy.stats.wasserstein_distance にサンプルか「位置 + 重み」を渡せば計算でき、多次元では pot の Sinkhorn 近似を使います。KL や JS が重なりの消失で発散・飽和する場面でも、山が 3 離れていれば 3 と測り続けるので、WGAN の損失やドリフト検知で安定して働きます。スケールの影響を受けるため標準化を先に行い、KL ダイバージェンス や JS ダイバージェンス と組み合わせて分布比較を多角的に行います。


よくある質問 #

KLダイバージェンスとWasserstein距離の使い分けは? #

KLダイバージェンスは分布の重なりがない(サポートが異なる)場合に無限大になるため、GANの学習など分布が離れた状況では不安定です。Wasserstein距離は分布が重なっていなくても有限の値を返し、分布間の「地理的な距離」に敏感です。ドリフト検知やGAN評価ではWasserstein距離が安定して機能します。ただし計算コストはKLよりも高くなります。

高次元データでWasserstein距離を計算するには? #

高次元ではOT(最適輸送)問題の計算量が爆発するため、近似手法を使います。Sinkhorn 距離はエントロピー正則化を加えて計算量を削減する方法で、pot ライブラリ(Python Optimal Transport)に実装があります。スライスド Wasserstein 距離は、ランダムな 1 次元投影ごとに 1 次元の距離を計算して平均する近似で、高次元でも効率的です。PCA やオートエンコーダーで低次元に圧縮してから計算する方法も実用的です。

GANの学習でなぜWasserstein距離が使われる? #

WGAN(Wasserstein GAN)はバニッシンググラジエント問題を緩和するためにWasserstein距離を損失関数として使います。Wasserstein距離は生成分布と実データ分布が重なっていなくても滑らかな勾配を提供するため、学習が安定します。

データドリフト検知での使い方は? #

本番環境でのデータドリフト監視に活用されています。訓練データと本番データの特徴量分布を定期的に比較し、Wasserstein距離が閾値を超えたらアラートを発する仕組みが一般的です。evidentlyやalibi-detectなどのドリフト検知ライブラリが内部で使用しています。


分布の差と Wasserstein 距離 #

2 つの正規分布の中心のずれを変えると、Wasserstein 距離がずれに比例してまっすぐ伸び、KL や JS と形が違うことを確認できます。