04.4.1
欠損区間をハイライト
NaN になっている日付の範囲を ax.axvspan(start, end) の半透明な帯で塗り、折れ線のどこが「抜け」なのかを一目で示す図です。このページでは、200 日のランダムウォークに 2021-03-15〜03-28 の 14 日間と 2021-05-20〜06-05 の 17 日間の欠損を series.loc[start:end] = np.nan で作り、alpha=0.3 の赤い帯と ax.text の「欠損」ラベルを重ねます。読み終えると、折れ線が途切れているだけでは見落とす欠損の位置と長さを関係者と共有し、前方補完・線形補間・除外のどれで埋めるかを決める材料にできるようになります。NaN の区間に赤い帯をかぶせると、「3 月中旬に 14 日、5 月末に 17 日の抜けがある」という事実を、モデルを作る前にチーム全員が同じ図で確認できます。
直感 #
センサーが 2 週間止まっていたデータをそのまま折れ線にすると、matplotlib は NaN の日を飛ばして線を切るだけなので、細い隙間ができるだけで気づきにくいものです。しかもその区間を fillna(method="ffill") で埋めてしまうと、線は途切れずにつながり、欠損があった事実は図から完全に消えます。そこで埋める前に、NaN になっている日付の範囲を赤い帯で塗っておきます。帯の幅がそのまま欠損の長さなので、「14 日の抜けなら線形補間で十分か」「17 日は長すぎるので除外するか」という判断を、図を見ながら話せます。
何が起きているか(ステップで見る) #
コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。
見るポイント:埋め方で結果が変わる。前方補完は「変わらない」仮定、線形補間は「なめらかに変わる」仮定。
Python で描く #
次のコードは、標準偏差 1.2 の増分を累積したランダムウォークの 200 日系列に 2 か所の欠損を作り、折れ線の上に欠損区間の赤い帯と「欠損」の文字を重ねます。
| |
実行結果の読み方 #
青い折れ線は 100 から始まり、ランダムウォークなので上下にふらつきながら進みます。3 月 15 日と 5 月 20 日の位置で線が切れ、その切れ目にちょうど重なる赤い帯が 2 本あり、帯の幅が 14 日と 17 日の欠損の長さです。帯の下端に「欠損」の文字があるので、赤が異常値ではなく抜けを表すことが分かります。帯の左端と右端で青い線の高さを比べると、14 日の間に値がどれだけ動いたかが読め、両端の差が小さければ線形補間でほぼ復元でき、差が大きければどんな補間も推測にすぎないと判断できます。
使いどころと落とし穴 #
この図は、分析やモデル構築に入る前の「データ品質の共有」で使います。series.isna().sum() で欠損の総数は分かりますが、それが散らばった 31 日なのか連続した 31 日なのかは帯で見ないと区別できず、補間の方針(interpolate(method="linear") か ffill か、区間ごと除外か)が変わります。落とし穴は、人が決めた missing_ranges と実際の NaN の位置がずれることで、実データでは必ず series.isna() から区間を自動抽出して帯を描きます。欠損区間が 17 日のように長く、しかも毎月現れるなら、補間よりもセンサーの停止やバッチの失敗といった収集側の原因を直すほうが先です。帯を描いたあとの埋め方は データの状態を把握する の欠損確認と、ステップ図で比べた前方補完と線形補間の違いを踏まえて選びます。
- Zスコアで異常値検出 — 閾値超えの観測点を異常値として検出
- 平均の変化点を可視化 — 平均レベルの切り替わりを移動平均と垂直線で表示
- データの状態を把握する — CSV読込後に列型・欠損・重複を点検