03.7
モデル監視
まとめ
この章では、本番環境で動き続ける予測モデルの「静かな劣化」を数値で捉える方法を学びます。中心になるのは PSI（母集団安定性指数）で、学習時の特徴量分布と今週の入力分布を 10 個のビンに分けて比べ、ずれの大きさを 0.1 や 0.25 といった閾値で判定します。あわせて、入力の分布だけが変わるデータドリフトと、入力と正解の関係そのものが変わるコンセプトドリフトを区別し、再学習・特徴量の見直し・パイプラインの修正のどれが必要かを判断できるようになります。
直感 #
与信モデルを 2024 年のデータで学習し、2025 年も同じモデルで審査を続けているとします。景気が変わって申込者の年収分布が右に 10% ずれれば、モデルは学習時に見たことのない領域で予測を出すことになり、精度は静かに落ちます。正解ラベル（実際に返済できたか）は半年後にしか分からないので、精度そのものを毎週測ることはできません。そこで、正解がなくても毎週計算できる「入力分布のずれ」を PSI で監視し、閾値を超えたら原因を調べる、という運用が監視の基本形です。
詳細な解説 #
このチャプターで学べること #
- PSIによる特徴量分布の安定性評価と、閾値の設定指針
- データドリフト（入力分布の変化）とコンセプトドリフト（入出力関係の変化）の区別
- 監視ダッシュボードの設計と、アラート基準の考え方
これがわかるとできること #
- 本番モデルの精度劣化を早期に検知し、再学習のタイミングを判断できる
- 分布変化の原因（季節性・外部イベント・データパイプラインの不具合）を切り分けられる
学習の進め方 #
まず PSI で、学習時と本番の分布を 10 ビンに分けて \(\sum (p_i - q_i) \ln(p_i / q_i)\) を計算する手順と、0.1 未満なら安定、0.25 超なら再学習検討、という判定基準を押さえます。次に、PSI が高い特徴量が見つかったときに、季節性のような想定内の変化か、ログの欠損やパイプラインの不具合かを切り分ける見方を学びます。