機械学習の基礎

直感 #

手法の名前は多くても、問われることは 1 つです。データから未知の値を推定するとき、どのモデルをどう使うか。 気温から売上を当てるなら線形回帰、メールが迷惑かどうかならロジスティック回帰、顧客を似た者どうしに分けるなら k-means、というように、目的変数の有無と型でまず大枠が決まります。この章では 8 つの柱を順に学び、その選び方の判断軸を組み立てます。

詳細な解説 #

このセクションで学べること #

• 回帰 — 連続値の予測。線形回帰・リッジ・ラッソなど正則化の考え方と過学習の制御
• 線形分類 — カテゴリの判別。ロジスティック回帰・SVM・パーセプトロンなど決定境界の引き方
• 決定木 — ルールベースの分岐。情報利得・ジニ不純度による分割と、木の深さ制御
• アンサンブル — 複数モデルの統合。バギング（Random Forest）とブースティング（XGBoost / LightGBM）の戦略の違い
• クラスタリング — ラベルなしデータのグルーピング。K-Means・DBSCAN・階層的手法の特性比較
• 次元削減 — 高次元データの圧縮。PCA・t-SNE・UMAPなど線形・非線形手法の使い分け
• 特徴選択 — モデルに効く変数の絞り込み。フィルター法・ラッパー法・埋め込み法の比較
• 異常検知 — 正常から外れたデータの検出。Isolation Forestやルールベース検知の適用場面

これがわかるとできること #

• 課題の性質（分類か回帰か、ラベルの有無、データ規模）に応じて適切な手法を選べる
• ハイパーパラメーターの意味を理解し、根拠を持って調整できる
• 精度指標の読み方を踏まえて、モデルの改善サイクルを自力で回せる

学習の進め方 #

まず線形回帰とロジスティック回帰で、教師あり学習の「損失を最小にするパラメータを探す」という基本パターンを押さえます。次に決定木と Random Forest・XGBoost へ進み、木を深くすると訓練誤差は下がるのにテスト誤差が上がる、というモデルの複雑さと汎化のトレードオフを体験します。そのあと k-means・PCA・特徴選択でラベルのないデータの扱いと前処理を広げ、最後に Isolation Forest と ADTK で異常検知という実務寄りの応用に触れます。

アルゴリズム選択フローチャート #

データの性質と目的に応じた手法選びの出発点です。上から順に、ラベルの有無、目的変数の型、線形性やデータ量の順で絞り込みます。

手法クイックリファレンス #