01.9
よくあるエラー
まとめ
この章では
pandas.read_csv で起きやすい 6 つのエラーを 1 つずつ再現し、エラーメッセージのどの部分を見れば原因が分かるかと、どの引数で直すかを学びます。UnicodeDecodeError は encoding="cp932"、ParserError: Expected 5 fields … saw 7 は sep や on_bad_lines、Length mismatch は header と skiprows、could not convert string to float: ' 1,234 ' は converters、日付の ValueError は parse_dates、MemoryError は chunksize と dtype で解決します。読み終えると、赤いトレースバックの最後の 1 行から「どの引数を足せばよいか」を数秒で判断できるようになります。直感 #
CSV は「カンマで区切られた文字の列」という約束しかなく、文字コードが Shift_JIS か UTF-8 か、区切りがカンマかタブか、1 行目が列名か説明文かは、ファイルを開くまで分かりません。read_csv は 50 以上の引数でこれらの違いを吸収しますが、既定値(encoding="utf-8", sep=",", header=0)がファイルと食い違うと、UnicodeDecodeError や ParserError として表に出てきます。この章では、エラーメッセージ → 原因 → 直す引数、という対応を 6 パターン分レシピにしてあります。
read_csv がエラー
トレースバック最後の 1 行を読む
UnicodeDecodeError なら encoding
ParserError なら sep / quotechar / on_bad_lines
Length mismatch なら header / skiprows
数値変換の ValueError なら converters
MemoryError なら chunksize / usecols / dtype
詳細な解説 #
このチャプターで学べること #
- 日本語を含む CSV の
UnicodeDecodeErrorをencoding="cp932"や"shift-jis"で解決し、保存時にutf-8-sigを選ぶ理由 - 列数が合わない
ParserErrorの原因をsep・quotechar・escapecharで切り分け、on_bad_lines="warn"で破損行を見つける方法 - ヘッダー行のずれによる
Length mismatchをheader=None・skiprows・header=[0, 1]・index_colで直す方法 - 空白や全角スペースで数値変換できない列を
skipinitialspace・str.replace・convertersでクレンジングする手順 - 日付列の
ValueErrorを防ぐparse_dates・dayfirst・pd.to_datetime(errors="coerce")の使い分け - 巨大 CSV の
MemoryErrorをchunksize・usecols・dtype・compressionで回避する方法
これがわかるとできること #
read_csvのトレースバック最後の 1 行から、足すべき引数を即座に決められる- Windows の Excel が書き出した CSV と Linux のログファイルを、同じコードで安定して読める
- 数 GB の CSV をローカル PC で、
chunksize=100_000の分割読みとfloat32への型指定でメモリに収めて処理できる
学習の進め方 #
まず 日本語を含んだ CSV が読めない で encoding の指定を押さえます。日本語環境で最初にぶつかるのはほぼこの UnicodeDecodeError です。次に 列数が合わず ParserError になる と 列名がずれて ValueError になる で、sep と header という「ファイルの形」に関わる 2 つの引数を理解します。最後に 空白で数値変換できない、日付が解釈できない、巨大 CSV で MemoryError になる の 3 つで、読み込めたあとの値の型とメモリの問題を扱います。