02.2.7
k近傍法 (k-NN)
weights="uniform" か "distance")の 2 つだけで、境界は点の並びに沿った曲線になります。読み終えると、KNeighborsClassifier の k を検証精度で選び、StandardScaler を省くと距離がどう歪むかを説明できるようになります。直感 #
新入生の部活を当てるゲームを考えます。手がかりは握力と 50 m 走のタイムで、先輩 600 人の記録と所属は分かっています。いちばん記録が似ている先輩 5 人を探し、5 人のうち 3 人が運動部ならこの新入生も運動部と答える。これが \(k = 5\) の k-NN です。「近くのサンプルは同じラベルを持つ」という仮定だけで動くので、学習の段階では何も計算しません。新しい点が来るたびに全訓練データとの距離を測り、近い順に \(k\) 個を選んで票を数えます。weights="distance" を指定すると、近い先輩の票ほど重くなります。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:k を変えると同じ点の予測が変わる。k が小さいと近くの 1 点に振り回され、大きいと多数派に流される。
式で書くと何を数えているか #
多数決を式にすると「票数が最大のクラスを選ぶ」だけです。テスト点 \(\mathbf{x}\) に対して \(\mathcal{N}_k(\mathbf{x})\) を訓練データのうち距離が近い \(k\) 個の集合とすると、クラス \(c\) に対する票数は
$$ v_c = \sum_{i \in \mathcal{N}_k(\mathbf{x})} w_i \,\mathbb{1}(y_i = c) $$で表されます。ここで \(w_i\) は各サンプルの重みで、weights="uniform" なら全員 1、weights="distance" なら距離の逆数です。最も票の多いクラスが予測ラベルとなります。図の上では、\(\mathcal{N}_k(\mathbf{x})\) は「テスト点を中心にちょうど \(k\) 個が入る円」、\(v_c\) はその円の中の色の数です。
Pythonで k を選んで決定領域を描く #
次のコードは make_blobs で 3 クラス 600 点を作り、\(k = 1, 3, 5, 7, 11\) を 30 % の検証データで比べて、最も検証精度が高かった \(k\) の決定領域を描きます。背景の色は「その場所に新しい点が落ちたら何クラスと答えるか」です。
| |

実行結果の読み方 #
タイトルに表示される \(k\) が、5 通りの候補のうち検証精度が最も高かった値です。print される k=1 の検証精度が他より低ければ、1 点に振り回される過学習が起きている証拠です。背景の 3 色の境目は直線ではなく、点の並びに沿って曲がっています。これは k-NN が「境界の式」を持たず、場所ごとに多数決をやり直しているからです。
k の値と決定境界 #
k の値を変えると決定境界がどう変化するか、リアルタイムで確認できます。
k-NNは全訓練データを保持するため、データが大きいと推論が遅くなります。また、高次元データでは距離の差が縮まり識別力が低下する「次元の呪い」が発生します。特徴選択やPCAで次元を減らしてから適用してください。
weights="distance"を指定すると、近い点ほど強い影響を持つ重み付き投票になり、境界付近の精度が改善されます。\(k\)は奇数に設定すると多数決で同票になるリスクを減らせます。
使いどころと落とし穴 #
k-NN が向くのは、特徴量が 2〜10 個程度で、クラスの境界が曲がっているデータです。苦手なのは特徴量が数百を超える高次元データで、どの点との距離も似た値になり \(k\) 個の近傍がほぼ無作為になります。この場合は PCA で 10〜50 次元に落としてから適用します。間違えやすい設定は StandardScaler の省略です。年収(単位 万円)と年齢(単位 歳)をそのまま渡すと、距離はほぼ年収の列だけで決まり、年齢の差は 1 万円の差にも負けます。訓練データが 100 万点を超えて予測が遅いなら、algorithm="kd_tree" か "ball_tree" を試すか、ロジスティック回帰 のように学習時に式を作る手法に切り替えます。
まとめ #
k-NN は「距離が近い \(k\) 個の多数決」だけで分類する手法で、学習時に係数を求めないぶん予測時に全訓練データとの距離計算が走ります。\(k\) は検証データの精度で選び、\(k = 1\) は過学習、\(k\) が大きすぎると少数クラスが多数決で消えます。StandardScaler で各特徴量を平均 0・分散 1 に揃えないと、スケールの大きい列だけで距離が決まるので、パイプラインに必ず入れます。高次元では「次元の呪い」で近傍が意味を失うため、次元削減か別の手法を検討してください。
参考文献 #
- Cover, T. M., & Hart, P. E. (1967). Nearest Neighbor Pattern Classification. IEEE Transactions on Information Theory, 13(1), 21 E7.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.