モデル監視

直感 #

モデルは学習時のデータ分布を前提に予測を行うため、本番環境でデータの傾向が変われば精度が劣化する。定期的な監視と早期の異常検知が、安定した運用の鍵となる。

詳細な解説 #

このチャプターで学べること #

• PSIによる特徴量分布の安定性評価と、閾値の設定指針
• データドリフト（入力分布の変化）とコンセプトドリフト（入出力関係の変化）の区別
• 監視ダッシュボードの設計と、アラート基準の考え方

これがわかるとできること #

• 本番モデルの精度劣化を早期に検知し、再学習のタイミングを判断できる
• 分布変化の原因（季節性・外部イベント・データパイプラインの不具合）を切り分けられる