K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

t-SNE

中級

02.7.5

t-SNE

最終更新 2020-03-25 読了時間 2 分
まとめ
t-SNE(t-Distributed Stochastic Neighbor Embedding)は、高次元で「どの点がどの点の近所か」を確率 \(P_{ij}\) として表し、2 次元に置いた点の間にも同じ形の確率 \(Q_{ij}\) を定義して、2 つの分布の差(KL ダイバージェンス)が最小になるように点を動かす可視化手法です。近い点の関係は正確に保ちますが、遠い点同士の距離は目的関数にほとんど効かないので、図の上の島同士の距離に意味はありません。低次元側に裾の重い Student-t 分布を使うことで、似ていない点を遠くへ押しやってクラスタ同士をはっきり離します。perplexity(有効な近傍数)や learning_rate で図の見え方が変わるため、5〜50 の複数の perplexity で同じ島の構造が出るかを確認してから結論を出します。

直感 #

クラス 40 人の「仲の良さ」を、座席表に写し取る作業を考えます。仲の良い 5 人が隣同士になるように席を決めれば、グループの構造が一目で分かります。ただし A グループと B グループの席の距離は気にしません。t-SNE はこの方針で、64 次元の手書き数字 1797 点を 2 次元に並べます。各点について「近所の点」を確率で決め、2 次元でもその近所関係が再現されるように点を動かします。クラスタの探索には有効ですが、PCA のように軸に意味があるわけではなく、近傍のまとまりだけを見る手法です。

詳細な解説 #

t-SNE(t-Distributed Stochastic Neighbor Embedding)は高次元データの局所構造を 2 次元や 3 次元に可視化するための手法です。クラスタの分離具合や潜在構造を見る探索的分析に最適です。


1. 仕組みの概要 #

計算は 4 つの要素からできています。まず高次元空間で、点 \(i\) から見て点 \(j\) が近所である確率 \(P_{ij}\) をガウス分布で定義し、その幅を perplexity で決めます。次に低次元空間の点の間にも同様の確率 \(Q_{ij}\) を定義します。そして Kullback-Leibler ダイバージェンス \(\mathrm{KL}(P \parallel Q)\) を最小化するように、勾配法で低次元の座標を更新します。\(P\) を対称化し、\(Q\) に裾の重い Student-t 分布を使うことで、高次元で遠かった点を 2 次元でも遠くへ押しやり、クラスタ間を離します。


2. Python 実装 #

次のコードは load_digits の手書き数字 1797 点(64 次元)を標準化し、TSNE(n_components=2, perplexity=30, learning_rate=200) で 2 次元に埋め込んで数字ごとに色を付けます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler

X, y = load_digits(return_X_y=True)
X = StandardScaler().fit_transform(X)

model = TSNE(n_components=2, perplexity=30, learning_rate=200, random_state=0)
emb = model.fit_transform(X)

plt.figure(figsize=(8, 6))
plt.scatter(emb[:, 0], emb[:, 1], c=y, cmap="tab10", s=15)
plt.colorbar(label="digit")
plt.title("t-SNE による手書き数字可視化")
plt.tight_layout()
plt.show()

Python 実装の図

実行結果の読み方 #

図では 10 色がおおむね 10 個の島に分かれ、島の中は点が均一に広がります。読み取れるのは「どの点がどの島に属するか」と「島の中でどの点が隣か」までで、島同士の距離や島の面積に意味はありません。random_state を変えれば島の配置は回転・反転しますが、同じ点が同じ島に入るかどうかで構造の頑健さを確かめます。


3. ハイパーパラメータ #

結果に最も効くのは perplexity で、有効な近傍数に相当し、データ数に応じて 5〜50 の範囲を探索します。learning_rate は低すぎると収束せず全点が 1 つの塊のまま止まり、高すぎると構造が崩れて点が飛び散るので、scikit-learn の "auto"(点数 / 12 程度)を起点にします。n_iter は 1000 以上を推奨し、early_exaggeration(既定 12)は最初の 250 回で \(P_{ij}\) を誇張してクラスタを離しやすくする係数です。


4. 注意点 #

座標はランダム初期化に依存し、絶対位置や軸の向きに意味はありません。新しい点を既存の埋め込みに追加するのは難しく、openTSNE のような拡張ライブラリが必要です。距離の大小を厳密に解釈してはいけません。t-SNE は近傍関係を見るためのツールであり、島同士の距離や島の大きさは perplexity の値でも変わります。


5. まとめ #

t-SNE は高次元の近傍確率 \(P_{ij}\) と 2 次元の \(Q_{ij}\) の KL ダイバージェンスを最小化し、近い点の関係だけを正確に保つ可視化手法です。手書き数字 1797 点では perplexity=30 で 10 色が 10 個の島に分かれました。探索的データ分析やレポート用の図として有効です。perplexity と learning_rate への感度が高いので、下のスライダーのように 5〜50 の複数設定で島の構造が再現するかを確かめて再現性を確保します。速さや新しい点の埋め込みが要る場合は、後継の UMAP も合わせて検討します。


  • 主成分分析(PCA) — 線形な次元削減
  • Isomap — 近傍グラフの最短経路で測地距離を保つもう一つの多様体学習
  • Kernel-PCA — 非線形PCA
  • UMAP — t-SNEより高速で、新しい点を transform できる非線形次元削減

Perplexity と埋め込み #

スライダーで perplexity を 5, 10, 20, 30, 50 と変えると、手書き数字(10 クラス)の埋め込みがどう変わるかを確認できます。5 では各数字が複数の小さな島に砕け、20〜30 で 10 個の島がいちばんはっきり分かれ、50 では島同士が近づいて境目が曖昧になります。