回帰

まとめ

この章では、数値を予測する回帰モデルを、最小二乗法の線形回帰を基準にして 8 つの手法で学びます。説明変数が多いときの Ridge / Lasso / ElasticNet、曲がった関係への多項式回帰と SVR、外れ値へのロバスト回帰、予測の幅を出すベイズ線形回帰と分位点回帰を、それぞれ「どんなデータで何が起きるか」から説明します。各ページには scikit-learn の実装とコードの解説が付き、ハイパーパラメータ（alpha、degree、C、epsilon など）を動かすと図がどう変わるかを対話図で確かめられます。

直感 #

回帰モデルの学習で大切なのは、LinearRegression や Ridge といった名前を覚えることではなく、「多重共線性があるなら Ridge、外れ値が 5% 混ざるならロバスト回帰」のように、データの特徴から手法を選べるようになることです。各手法の前提と、MAE・RMSE・R² といった評価指標の読み方を先に押さえておくと、モデル選択と改善の判断が速くなります。

詳細な解説 #

このチャプターで学べること #

代表的な手法の目的・前提・出力の違い
精度指標と誤差分析の見方
実装時に性能を左右する主要パラメータ

これが分かるとできること #

課題とデータ特性に応じて適切な手法を選択できる
結果を MAE・RMSE・R² で評価し、改善の優先順位を説明できる
再現可能な手順で実装・検証を進められる

手法クイックリファレンス #

手法	特徴	計算量	推奨場面
線形回帰	解析解あり・解釈性高	低	ベースライン・線形関係
Ridge / Lasso	正則化で過学習抑制	低	特徴量が多いとき
ElasticNet	L1+L2の両方	低	相関特徴量が多いとき
多項式回帰	非線形をキャプチャ	中	曲線的な関係
ベイズ線形回帰	不確実性を定量化	中	信頼区間が必要なとき
ロバスト回帰	外れ値に頑健	中	外れ値が多いデータ
SVR	カーネルで非線形	高	小〜中規模の非線形
分位点回帰	条件付き分位を推定	中	区間予測・リスク評価

学習の進め方 #

まず線形回帰で最小二乗法が「残差の 2 乗和を最小にする」ことと、その前提（等分散・外れ値なし・線形）を確認します。次に各ページの「何が起きているか（ステップで見る）」と Python のコード解説で、alpha や degree を変えると図がどう変わるかを追います。最後に MAE・RMSE・R² などの評価指標で手法を比べ、データの特徴に合わせて選び直すサイクルを回します。

まとめ #

この章では、線形回帰をベースラインとし、正則化（Ridge / Lasso / ElasticNet）・非線形拡張（多項式回帰・SVR）・頑健性（ロバスト回帰）・不確実性の定量化（ベイズ線形回帰・分位点回帰）まで、回帰モデルの代表的な 8 手法を扱います。多重共線性なら Ridge、外れ値ならロバスト回帰、曲線なら多項式回帰や SVR というように、データの特徴から手法を選び、評価指標で改善のサイクルを回せるようになることがゴールです。