04.4
データ品質と異常検知
まとめ
この章では、モデルに渡す前の時系列に潜む 3 種類の品質問題を図で見つけます。Z スコア \((x - \mu)/\sigma\) の絶対値が 2.5 を超えた点を赤く描いて外れ値の候補を絞り、
rolling(window=14).mean() の移動平均と axvline の縦線で平均レベルが 80 → 95 → 110 と切り替わる変化点を共有し、axvspan の半透明な帯で NaN が連続する欠損区間の位置と長さを示します。3 つとも「埋める・除く・分ける」の判断を関係者と合意するための図です。直感 #
センサーが 2 日だけ 25 高い値を返した、値下げを始めた 70 日目から平均が 15 上がった、通信障害で 3 月に 14 日分の値がない。この 3 つをそのまま ARIMA や回帰に渡すと、外れ値は係数を引っ張り、平均のシフトは「トレンド」と誤認され、欠損は fillna の方法次第で別の系列になるので、学習結果は元のデータの癖ではなく品質問題の形を覚えてしまいます。だからモデリングの前に、異常値には Z スコアの閾値で、平均シフトには移動平均と縦線で、欠損には帯で、それぞれ「どこに・どれだけ」あるかを図にします。見つけた問題を fillna や除外で自動的に直す章ではなく、見つけて共有し、対処を決めるための章です。
詳細な解説 #
このチャプターで学べること #
- Zスコアを使った異常値検出の仕組みと閾値の設定方法
- 平均の変化点を移動平均と縦線で手動で可視化し、構造変化を共有する手法
- 欠損区間のハイライトによるデータ品質の事前把握
これがわかるとできること #
- 外れ値の候補を統計的に絞り込み、原因調査やアラートに活用できる
- 施策前後の構造変化を可視化して、モデル分割や特徴量設計に反映できる
- 欠損パターンを把握し、補間や除外の方針を事前に決められる
学習の進め方 #
まず Zスコアで異常値を検出 で、周期 20 日の波に仕込んだ 2 点の異常が閾値 2.5 でちょうど赤くなる様子を見て、閾値を 2 や 3 に変えると何が起きるかを確かめます。次に 平均の変化点を可視化 で、14 日移動平均が段差を 14 日かけてなぞる形と、赤い破線の前後で平均を比べる読み方を身につけます。最後に 欠損区間をハイライト で、NaN の範囲を帯にして前方補完と線形補間のどちらが妥当かを判断する、品質チェックの一連の流れを通します。