対象者標準

対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

pandas の基本操作

01.2.2

pandas の基本操作

最終更新 2024-06-01 読了時間 4 分

まとめ

このページは、前のページで整形した総務省の歳出データ soumu-gdp-clean.csv（行がカテゴリ、列が年度）を使って、pandas DataFrame の基本操作を順に確かめるリファレンスです。info() と describe().T でメタ情報を見たあと、列名を「平成1年度」→「H1」のように短くし、loc[条件, 列] と iloc[行番号, 列番号] で行・列を取り出します。assign で差分列 diff と平均列 avg を足し、filter(regex="^(H|R)") で年度列をまとめて扱い、melt で「カテゴリ・year・value」の long 形式に、pivot_table でその逆に変換します。最後に to_parquet と to_csv の 2 形式で保存するまでを扱い、次ページの agg と SQL の例でそのまま使える df と tidy を作ります。

ここで使うデータは sample-data で整形した soumu-gdp-clean.csv です。

直感 #

Excel で表を扱うときの「列を選ぶ」「条件で行を絞る」「計算列を足す」「ピボットテーブルを作る」が、pandas では loc・assign・melt・pivot_table の 4 つに対応します。違いは、Excel の操作が手作業で残らないのに対し、pandas ではすべてがコードとして残るので、データが更新されても同じ処理を 1 回の実行で再現できる点です。このページでは 1 つの DataFrame に対してその 4 つを順に適用し、最後に 2 つの形式で保存するところまでをたどります。

read_csv で読み込む info / describe でメタ情報を見る列名を H1 / R1 に正規化 loc / iloc で行と列を選ぶ assign で差分と平均の列を足す melt で long 形式に to_parquet / to_csv で保存

次のコードは整形済み CSV を読み込み、先頭 5 行を表示します。

1
2
3
4
5
6
from pathlib import Path
import pandas as pd

DATA = Path("../data/processed/soumu-gdp-clean.csv")
df = pd.read_csv(DATA)
df.head()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

4 行目パスは Path で持つ
Path("../data/processed/...") は文字列のパスより / で結合しやすく、DATA.exists() でファイルの有無も確かめられます。前のページで PROCESSED / "soumu-gdp-clean.csv" と書き出した場所と同じパスを指しています。
5 行目整形済みなので引数なしで読める
前のページで header=None やヘッダーの差し替えが必要だった生データと違い、整形済みの CSV は 1 行目が列名なので pd.read_csv(DATA) だけで済みます。encoding="utf-8-sig" で保存してあるため、BOM も自動で処理されます。
6 行目head で列の並びを確認する
先頭 5 行を見て、1 列目が「カテゴリ」、2 列目以降が「平成1年度」「平成2年度」…の年度列になっていることを確認します。この並びが後の filter(regex=...) や melt の前提です。

1. メタ情報の確認 #

次のコードは、行数・列数・欠損数の一覧と、列ごとの平均・標準偏差・最小・最大を表示します。

1
2
df.info()
df.describe().T[['mean','std','min','max']].round(2).head()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目info で型と欠損を一度に見る
info() は列ごとの非欠損の件数と dtype を出します。年度列が object になっていれば数値化が漏れたサインで、Non-Null Count が行数より少ない列は欠損があります。df.columns / df.dtypes で名称と型だけを列挙することもできます。
2 行目describe を転置して列ごとの代表値を読む
describe() は統計量が行・列が年度の表を返すので、.T で転置して「1 行 = 1 列の統計量」にし、mean・std・min・max の 4 つだけ残しています。min が負なら「△」の置換が効いていること、max が他の列より 1 桁大きければ単位のずれを疑う、という読み方をします。
2 行目round(2) はレポートに貼る前提
小数 2 桁に丸めるのは表示の都合で、元の df の値は変わりません。head() で最初の 5 列ぶんだけ出しているのは、年度列が 30 本以上あるためです。

列の正規化 #

次のコードは「平成1年度」を「H1」、「令和1年度」を「R1」のように短い列名に置き換えます。

1
2
3
4
5
6
df.columns = (
    df.columns
      .str.replace("年度", "")
      .str.replace("令和", "R")
      .str.replace("平", "H")
)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

2-5 行目str アクセサで全列名を一括置換
df.columns.str.replace は列名の Index に対して文字列操作をまとめて適用します。「年度」を消し、「令和」を「R」、「平」を「H」に置き換えています。置換は書いた順に 3 回適用されるので、「令和1年度」は「R1」になります。一方「平成10年度」は「平」だけが置換されて「H成10」になるため、実際の列名が「平成…」の表記なら replace("平成", "H") に直して、本文で使う H10 の形に揃えます。
1 行目columns に代入すると元の df が変わる
df.columns = ... は df そのものを書き換えるので、以降のコードはすべて H1 / R1 の列名で書きます。元の列名に戻したいときは、置換前の df.columns を別の変数に保存しておきます。
3 行目短い列名が正規表現での抽出を可能にする
略称を統一しておくと filter(regex="^H") で平成の列だけ、^(H|R) で年度列すべて、のように抽出できます。「平成1年度」のままだと正規表現が長くなり、SQL に載せるときも列名を引用符で囲む必要が出ます。

2. 行・列選択 (`loc` / `iloc`) #

次のコードは、「社会保障関係費」の行から 4 つの列を名前で取り出し、続けて先頭 3 行 × 5 列を位置で取り出します。

1
2
df.loc[df["カテゴリ"] == "社会保障関係費", ["カテゴリ", "H1", "H10", "R1"]]
df.iloc[:3, :5]  # 位置ベース

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目loc は「条件, 列名」で意味ベースに選ぶ
df["カテゴリ"] == "社会保障関係費" は行ごとの True / False の Series で、loc の 1 つ目に渡すと True の行だけが残ります。2 つ目のリストで列を名前で指定するので、列の順番が変わっても同じ結果になります。
2 行目iloc は「行番号, 列番号」で位置ベースに選ぶ
iloc[:3, :5] は先頭 3 行と先頭 5 列を切り出します。列名を知らない段階でデータの形を見るのに向きますが、列の順番が変わると別の列を指すので、分析のロジックには loc を使います。
1 行目列リストに「カテゴリ」を含めて何の行か分かるようにする
["カテゴリ", "H1", "H10", "R1"] の先頭に「カテゴリ」を入れておくと、結果の表に行の名前が残ります。数値列だけを取り出すと、どの行が何の費目か結果から読めなくなります。

頻出パターンを関数化しておくと便利です。次のコードは「カテゴリ名と列のリストを渡すと該当行を返す」関数を定義し、「教育費」で試します。

1
2
3
4
def pick(category, cols):
    return df.loc[df["カテゴリ"] == category, cols]

pick("教育費", ["H1", "H5", "R1"])

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1-2 行目毎回書く条件式を関数に閉じ込める
df.loc[df["カテゴリ"] == ..., ...] を何度も書くと、カテゴリ名の打ち間違いや列名の不一致が起きやすくなります。pick にまとめると、呼び出し側は「何を・どの列で」だけを書けばよくなります。
2 行目グローバルの df に依存している
関数の中で df を直接参照しているので、別の DataFrame には使えません。汎用にするなら def pick(df, category, cols) と第 1 引数で受け取る形にします。
4 行目存在しないカテゴリ名は空の表を返す
pick("教育費", ...) でカテゴリ名が一致しなければエラーにならず 0 行の表が返ります。結果が空のときは df["カテゴリ"].unique() で正しい表記（末尾の空白や全角の有無）を確かめます。

3. 行フィルタと新列 #

次のコードは、令和 1 年度と平成 1 年度の差が 5 を超えるカテゴリに絞り、差分 diff と年度平均 avg の列を足して差分の大きい順に並べます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
mask = (df["R1"] - df["H1"]) > 5
growth = (
    df.assign(
        diff = df["R1"] - df["H1"],
        avg  = df.filter(regex="^(H|R)").mean(axis=1)
    )
    .loc[mask, ["カテゴリ", "diff", "avg"]]
    .sort_values("diff", ascending=False)
)
growth.head()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目条件を mask 変数に名前を付けて持つ
(df["R1"] - df["H1"]) > 5 を mask に入れておくと、loc の中が短くなり「何で絞っているか」が変数名で読めます。閾値 5 を変えるときもこの 1 行だけを直せば済みます。
3-6 行目assign で中間計算を列として残す
assign は新しい列を足した DataFrame を返し、元の df は変えません。diff は 2 列の差、avg は filter(regex="^(H|R)") で選んだ年度列すべての行方向の平均（axis=1）です。regex を使うことで、年度列が 30 本あっても列名を 1 つずつ書かずにまとめて扱えます。
7-8 行目メソッドチェーンで絞り込みと並べ替えを続ける
assign の結果に .loc[mask, ...] で行と列を絞り、.sort_values("diff", ascending=False) で差分の大きい順にしています。カッコで囲んで改行しているのは、1 行に書くと長くなる処理を 1 手順 1 行で読めるようにするためです。

4. 形の変換（long/ wide） #

次のコードは、「カテゴリ × 年度」の横長の表を、「カテゴリ・year・value」の 3 列に縦に並べ直し、年度の文字列を西暦の整数に変換します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
value_cols = df.columns[df.columns != "カテゴリ"]

tidy = (
    df.melt(
        id_vars="カテゴリ",
        value_vars=value_cols,
        var_name="year",
        value_name="value"
    )
    .assign(
        year = lambda x: x["year"].str.replace("H", "19").str.replace("R", "20").astype(int)
    )
)
tidy.head()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目溶かす列を「カテゴリ以外」で指定する
df.columns != "カテゴリ" は列名ごとの True / False で、「カテゴリ」以外のすべての年度列が value_cols に入ります。年度列を 1 本ずつ列挙しないので、年度が増えてもこの行は変わりません。
4-9 行目melt で wide を long にする
melt は id_vars の列を残し、value_vars の各列を「列名 → year、値 → value」の 2 列に縦に積み直します。行数は「カテゴリ数 × 年度数」に増えますが、groupby("year") や seaborn の hue="カテゴリ" にそのまま渡せる形になります。
10-12 行目H1 → 1991、R1 → 2001 と置き換える簡易変換
"H" を "19"、"R" を "20" に置き換えて astype(int) にしているので、H1 は 191、R1 は 201 という整数になります。西暦として正しい値（平成 1 年 = 1989、令和 1 年 = 2019）ではなく、並べ替えに使える単調な番号を作る簡易処理です。正確な西暦が必要なら H は 1988 + n、R は 2018 + n と計算する関数に置き換えます。

melt で long 形式をつくっておくと、groupby や可視化ライブラリに渡しやすくなります。

逆に列を広げたい場合は pivot_table を使用します。次のコードは tidy を「行が year、列がカテゴリ」の表に戻します。

1
2
3
4
5
pivot = tidy.pivot_table(
    index="year",
    columns="カテゴリ",
    values="value"
)

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

2-3 行目index と columns で表の縦横を決める
index="year" で行を年度に、columns="カテゴリ" で列を費目にしているので、元の df とは縦横が入れ替わった表になります。時系列として年度を縦に並べたいときはこの向きが便利です。
4 行目values の集計方法は既定で平均
pivot_table は同じ（year, カテゴリ）の組が複数あると aggfunc="mean" で平均します。ここでは組が 1 つずつなので値はそのまま入りますが、重複がある場合は aggfunc="sum" などを明示します。
1 行目melt と pivot_table は往復できる
melt で long に、pivot_table で wide に戻せるので、集計は long で、閲覧や Excel への貼り付けは wide で、と使い分けます。

5. 書き出しとログ #

次のコードは、wide 形式の df を Parquet に、long 形式の tidy を CSV に保存します。

1
2
df.to_parquet("../data/processed/soumu-gdp-clean.parquet", index=False)
tidy.to_csv("../data/processed/soumu-gdp-tidy.csv", index=False, encoding="utf-8-sig")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目Parquet は型を保ったまま小さく保存できる
to_parquet は列ごとの dtype を保存するので、読み戻したときに年度列が object に戻る心配がありません。CSV より小さく読み込みも速いため、pandas から pandas へ渡す中間ファイルに向きます。pyarrow または fastparquet のインストールが必要です。
2 行目CSV は utf-8-sig で Excel 対応
encoding="utf-8-sig" は先頭に BOM を付ける指定で、Excel で開いたときに「カテゴリ」が文字化けしません。index=False は 0, 1, 2… の行番号を列として書き出さないための指定で、省くと読み戻したときに Unnamed: 0 列が増えます。
1-2 行目保存前に欠損の件数を記録しておく
保存形式は CSV と Parquet の二本立てにしておくと活用の幅が広がります。書き出す直前に df.isna().sum() を表示してログに残しておくと、あとで「欠損 0 件のデータを保存した」と確認でき、欠損処理の履歴になります。

よく使うメソッド早見表 #

操作	pandas	例
行・列抽出	`loc` / `iloc`	`df.loc[df["R1"]>30, ["カテゴリ","R1"]]`
列の追加	`assign`	`df.assign(diff=df["R1"]-df["H1"])`
列の一括変換	`filter` + `apply`	`df.filter(regex="^H").apply(pd.to_numeric)`
集計	`groupby` / `agg`	`tidy.groupby("year").agg({"value":"sum"})`
形の変換	`melt` / `pivot_table`	long ↔ wide

チェックリスト #

最初に確認したいのは、info() と describe() で異常値・欠損・型を把握したかです。二つ目は列名を H1 / R1 に正規化し、filter(regex=...) で年度列をまとめて扱えるようにしたかで、三つ目は assign / loc を使って mask 変数のある可読性の高いフィルタリングを書いたかです。四つ目は long 形式（melt）を作り、groupby や可視化に使い回せるようにしたか、最後に保存時に encoding="utf-8-sig" とフォーマット（CSV / Parquet）を明示したかを見ます。

ここで整理した DataFrame は、次ページの agg や SQL 例でそのまま使いまわします。