03.4.4
コサイン類似度と距離
cosine_similarity で類似度行列を出し、距離として使うときは \(1 - \cos\theta\) に直す理由と、ゼロベクトルで計算できない落とし穴を説明できるようになります。直感:長さではなく向きを比べる #
ニュース記事 A が 300 語、記事 B が 3,000 語で、どちらも「経済」「金利」「株価」の語を同じ比率で使っているとします。単語の出現回数をそのまま並べたベクトルで見ると、B は A の 10 倍の長さがあるのでユークリッド距離では遠い文書になります。コサイン類似度はこの 2 本の矢印のなす角だけを見るので、比率が同じなら角度は 0°、類似度は 1.0 になり、「同じ話題の記事」と判定できます。逆に「スポーツ」「得点」ばかりの記事 C は、A と共通する語がなければ直交して類似度 0 です。
式で書くと何を計算しているか #
ベクトル \(\mathbf{a}, \mathbf{b}\) に対して、コサイン類似度は角度 \(\theta\) の余弦として定義されます。
$$ \cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \, \|\mathbf{b}\|} $$分子の内積は「成分ごとの積の和」で、分母の 2 つのノルムで割ることで長さの影響を打ち消しています。値は 1 に近いほど同じ方向(類似)、0 付近は直交(無関連)、−1 に近いほど反対方向です。距離として使う場合は \(d = 1 - \cos(\theta)\) を取れば 0〜2 の範囲になり、「0 に近いほど似ている」という距離の向きにそろいます。長さ(ノルム)ではなく向きだけを比べるため、スケールの異なる特徴を組み合わせたベクトルにも適しています。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:長さではなく向きだけを比べる。文書の長さが違っても内容の似ている度合いを測れる理由が、2 本の矢印のなす角として見える。
Python で類似度行列を出す #
次のコードは、3 件 × 3 次元の埋め込み行列から、全ペアのコサイン類似度とコサイン距離を 3×3 の行列として計算します。
| |
単一のベクトルペアを扱う場合は scipy.spatial.distance.cosine を使うと手軽です。TF-IDF のような疎行列(scipy.sparse)を渡した場合も cosine_similarity は密行列に変換せず内部で効率的に計算します。
向きだけを見ることの長所 #
スケールに左右されないので、TF-IDF ベクトルや埋め込みのように文書の長さで値の大きさが変わる表現でも、話題の近さだけを取り出せます。非ゼロ要素が少ない疎ベクトルでも、共通して非ゼロの成分だけが内積に効くため安定して計算できます。一方、特徴に負の成分が含まれると \(\cos\theta\) が負になり「反対向き」の意味を解釈する必要が出るので、平均を引く中心化(Adjusted Cosine)などの前処理を検討します。
使いどころ #
検索やレコメンドでは、クエリとアイテムの埋め込みのコサイン類似度でランキングを作り、上位 k 件を提示します。クラスタリングでは、コサイン距離を使った球面 k-means で文書をトピックごとにまとめます。埋め込みの品質診断では、正例ペアと負例ペアの類似度分布を並べ、2 つの分布が 0.3 程度離れているかで表現の良さを測ります。
落とし穴 #
ノルムが 0 のベクトル(1 語も含まない空文書など)では分母が 0 になって類似度が定義できないため、ゼロベクトルは除外するか、微小値 1e-12 を加える処理を挟みます。距離 \(1 - \cos\theta\) は三角不等式を満たさないので、三角不等式を前提にした高速化(Ball Tree など)を使うアルゴリズムでは適用できるかを確認します。角度に敏感な指標なので、StandardScaler で中心化すると向きが変わって結果が大きく動くことがあり、前処理ごとに類似度の分布を見比べて効果を検証します。
まとめ #
コサイン類似度は 2 本のベクトルのなす角の余弦で、(10, 2, 0) と (100, 20, 0) のように長さが 10 倍違っても向きが同じなら 1.0 を返します。cosine_similarity(embeddings) で全ペアの行列を一度に計算でき、距離として使うなら cosine_distances か \(1 - \cos\theta\) に直します。疎な TF-IDF や埋め込みとの相性が良く、検索・レコメンド・埋め込み評価で定番ですが、ゼロベクトルでは定義できず、三角不等式も満たしません。確率分布どうしの近さを測るなら KL ダイバージェンス や ヘリンガー距離 に進みます。
- KL ダイバージェンス — 分布間の距離指標
- 相関係数 — 類似した方向性指標
- ヘリンガー距離 — 確率分布の距離
角度とコサイン類似度 #
2 つのベクトルの角度を 0° から 180° まで変えると、コサイン類似度が 1 から −1 へどう変化するか確認できます。