02.2.3
パーセプトロン
lr と n_epochs を変えたときに境界がどう動くか、分離できないデータでなぜ振動し続けるかを、20 行の自前実装から説明できるようになります。パーセプトロンの予測式は ロジスティック回帰 と同じ \(\mathbf{w}^\top \mathbf{x} + b\) なので、そちらで直線の係数の読み方を押さえておくと、違いが「シグモイドで確率を出すか、符号で硬く決めるか」だけだと分かります。
直感 #
2 色の点が散らばった紙に、定規で 1 本の線を引く作業を想像してください。最初は適当な位置に引き、点を 1 つずつ見ていきます。線の反対側に取り残された点を 1 つ見つけたら、その点が正しい側に入るように線を少し傾けて動かす。全部の点を見て 1 つも間違いがなければ終わりです。パーセプトロンはこの作業をそのまま数式にしたもので、重みベクトル \(\mathbf{w}\) が線の向き(法線)、バイアス \(b\) が線の位置、学習率 \(\eta\) が「少し動かす」の幅に当たります。正しく分類できている点では何もしないので、境界は間違えた点の方向にだけ \(\eta\) の幅で動きます。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:線は「間違えた点の方向」にだけ動く。きれいに分かれるデータなら必ず止まる。
式で書くと更新は 1 行 #
予測は、重み付き和の符号を見るだけです。
$$ \hat{y} = \operatorname{sign}(\mathbf{w}^\top \mathbf{x} + b) $$サンプル \((\mathbf{x}_i, y_i)\) を誤分類した場合、つまり \(y_i(\mathbf{w}^\top \mathbf{x}_i + b) \le 0\) のとき、以下のように更新します。
$$ \mathbf{w} \leftarrow \mathbf{w} + \eta\, y_i\, \mathbf{x}_i,\qquad b \leftarrow b + \eta\, y_i $$\(y_i = +1\) の点を間違えたなら \(\mathbf{w}\) にその点の座標を足して境界を点の側へ、\(y_i = -1\) なら引いて反対側へ動かす、という意味です。データが線形に分離可能であれば、この更新は有限回で止まります。これがパーセプトロンの収束定理です。
Pythonで学習の進み方と境界を描く #
次のコードは make_blobs の 2 クラス 200 点に、ライブラリを使わず 20 行ほどで書いたパーセプトロンを当てます。エポックごとの誤分類数を記録し、誤りが 0 になった時点で更新を打ち切って、最終的な直線を描きます。
| |

実行結果の読み方 #
黒い直線が学習後の境界で、2 つの塊の間を通っていれば訓練精度は 1.0 になります。print される「各エポックの誤り数」は最初のエポックが最も多く、2〜5 エポック程度で 0 に落ちるはずです。境界が 2 つの塊の「ちょうど真ん中」を通っていない点に注目してください。パーセプトロンは誤りが 0 になった瞬間に止まるので、マージンを最大にする SVM とは違い、どちらかの塊に寄った線で満足します。
パーセプトロンはデータが線形分離可能でない場合、収束せずに振動し続けます。実データでは線形分離可能性を事前に確認できないため、max_iterでエポック数を制限してください。非線形データにはSVMやニューラルネットワークを検討してください。
scikit-learnのPerceptronクラスを使えばpenaltyでL1/L2正則化を追加でき、early_stopping=Trueで検証スコアが改善しなくなった時点で学習を打ち切れます。パーセプトロンはSGDClassifierのloss="perceptron"と等価です。
エポック数と決定境界 #
学習のエポック数を増やすと決定境界がどう変化するか確認できます。
使いどころと落とし穴 #
パーセプトロンを実務の第一候補にする場面は少なく、主な使いどころは「勾配法で境界が動く」という感覚を 20 行のコードでつかむことと、1 件ずつ届くデータで重みを更新し続けるオンライン学習です。苦手なのは XOR のように直線で分けられないデータで、cluster_std を 3.0 に上げて塊を重ねると、誤り数が 0 にならず n_epochs の上限まで振動します。間違えやすいのは lr の調整で、パーセプトロンでは学習率は境界の向きをほとんど変えず、重みの大きさだけが変わります。確率が欲しければ ロジスティック回帰、塊の真ん中を通る境界が欲しければ SVM に進んでください。
まとめ #
パーセプトロンは、\(\operatorname{sign}(\mathbf{w}^\top \mathbf{x} + b)\) で予測し、間違えた点でだけ \(\mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i\) と境界を動かす線形分類器です。データが線形分離可能なら有限回の更新で誤りが 0 になって止まり、上のコードでは数エポックで errors が 0 に落ちます。分離できないデータでは振動し続けるので、n_epochs や max_iter で打ち切ります。止まった位置の境界はマージンを考慮していません。確率を出すロジスティック回帰、マージンを最大化する SVM、層を重ねるニューラルネットワークはいずれもこの更新則の発展形です。
参考文献 #
- Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6), 386 E08.
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.