K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

よくあるエラー

01.9

よくあるエラー

まとめ
この章では pandas.read_csv で起きやすい 6 つのエラーを 1 つずつ再現し、エラーメッセージのどの部分を見れば原因が分かるかと、どの引数で直すかを学びます。UnicodeDecodeError は encoding="cp932"、ParserError: Expected 5 fields … saw 7 は sep や on_bad_lines、Length mismatch は header と skiprows、could not convert string to float: ' 1,234 ' は converters、日付の ValueError は parse_dates、MemoryError は chunksize と dtype で解決します。読み終えると、赤いトレースバックの最後の 1 行から「どの引数を足せばよいか」を数秒で判断できるようになります。

直感 #

CSV は「カンマで区切られた文字の列」という約束しかなく、文字コードが Shift_JIS か UTF-8 か、区切りがカンマかタブか、1 行目が列名か説明文かは、ファイルを開くまで分かりません。read_csv は 50 以上の引数でこれらの違いを吸収しますが、既定値(encoding="utf-8", sep=",", header=0)がファイルと食い違うと、UnicodeDecodeError や ParserError として表に出てきます。この章では、エラーメッセージ → 原因 → 直す引数、という対応を 6 パターン分レシピにしてあります。

詳細な解説 #

このチャプターで学べること #

  • 日本語を含む CSV の UnicodeDecodeError を encoding="cp932" や "shift-jis" で解決し、保存時に utf-8-sig を選ぶ理由
  • 列数が合わない ParserError の原因を sep・quotechar・escapechar で切り分け、on_bad_lines="warn" で破損行を見つける方法
  • ヘッダー行のずれによる Length mismatch を header=None・skiprows・header=[0, 1]・index_col で直す方法
  • 空白や全角スペースで数値変換できない列を skipinitialspace・str.replace・converters でクレンジングする手順
  • 日付列の ValueError を防ぐ parse_dates・dayfirst・pd.to_datetime(errors="coerce") の使い分け
  • 巨大 CSV の MemoryError を chunksize・usecols・dtype・compression で回避する方法

これがわかるとできること #

  • read_csv のトレースバック最後の 1 行から、足すべき引数を即座に決められる
  • Windows の Excel が書き出した CSV と Linux のログファイルを、同じコードで安定して読める
  • 数 GB の CSV をローカル PC で、chunksize=100_000 の分割読みと float32 への型指定でメモリに収めて処理できる

学習の進め方 #

まず 日本語を含んだ CSV が読めない で encoding の指定を押さえます。日本語環境で最初にぶつかるのはほぼこの UnicodeDecodeError です。次に 列数が合わず ParserError になる と 列名がずれて ValueError になる で、sep と header という「ファイルの形」に関わる 2 つの引数を理解します。最後に 空白で数値変換できない、日付が解釈できない、巨大 CSV で MemoryError になる の 3 つで、読み込めたあとの値の型とメモリの問題を扱います。