サンプルデータ

総務省のデータ

総務省のデータをつかってpandasを動かしてみましょう。

当ホームページ(総務省)で公開している情報（以下「コンテンツ」といいます。）は、どなたでも以下の1）～7）に従って、複製、公衆送信、翻訳・変形等の翻案等、自由に利用できます。商用利用も可能です。また、数値データ、簡単な表・グラフ等は著作権の対象ではありませんので、これらについては本利用ルールの適用はなく、自由に利用できます。コンテンツ利用に当たっては、本利用ルールに同意したものとみなします。引用元：当省ホームページについて

import pandas as pd
import os
from urllib.parse import urlparse
from IPython.display import display, HTML


def getfn(url: str) -> str:
    """urlからファイル名を取得する"""
    return os.path.basename(urlparse(url).path)


def disp(df: pd.DataFrame, text: str):
    """notebook上にデータとテキストを表示する"""
    display(HTML(f"<h3>{text}</h3>"))
    display(df.head(6))
    display(HTML(f"<hr />"))

国内総生産の増加率に対する寄与度

出典：令和3年版地方財政白書（https://www.soumu.go.jp/menu_seisaku/hakusyo/chihou/r03data/2021data/r03czb01-01.html#p010102）

df = pd.read_csv("z-006-pre.csv")
disp(df, "加工前")
df.columns = df.iloc[1]
df = df.drop([0, 1]).replace("-", 0)
df.to_csv("z-006.csv", encoding="utf-8-sig")
disp(df, "加工後")

加工前

	第6図　国内総生産（支出側、名目）の増加率に対する寄与度	Unnamed: 1	Unnamed: 2	Unnamed: 3	Unnamed: 4	Unnamed: 5	Unnamed: 6	Unnamed: 7	Unnamed: 8	Unnamed: 9	Unnamed: 10	Unnamed: 11
0	（単位　％）	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
1	NaN	平成21年度	平成22年度	平成23年度	平成24年度	平成25年度	平成26年度	平成27年度	平成28年度	平成29年度	平成30年度	令和元年度
2	中央政府	0.1	△ 0.4	-	△ 0.1	0.4	-	△ 0.1	-	-	-	0.1
3	地方政府	0.1	0.1	-	△ 0.1	0.2	0.4	0.1	-	0.1	0.2	0.3
4	社会保障基金	0.3	0.3	0.3	0.2	0.2	0.2	0.3	-	0.2	0.1	0.2
5	公的企業	-	△ 0.1	-	0.1	-	-	0.1	-	-	-	-

加工後

1	NaN	平成21年度	平成22年度	平成23年度	平成24年度	平成25年度	平成26年度	平成27年度	平成28年度	平成29年度	平成30年度	令和元年度
2	中央政府	0.1	△ 0.4	0	△ 0.1	0.4	0	△ 0.1	0	0	0	0.1
3	地方政府	0.1	0.1	0	△ 0.1	0.2	0.4	0.1	0	0.1	0.2	0.3
4	社会保障基金	0.3	0.3	0.3	0.2	0.2	0.2	0.3	0	0.2	0.1	0.2
5	公的企業	0	△ 0.1	0	0.1	0	0	0.1	0	0	0	0
6	企業部門	△ 3.5	1.3	0.7	0	0.6	0.9	1.0	△ 0.1	0.9	0.4	0
7	家計部門	△ 1.8	0.2	0.2	0.6	2.3	△ 0.4	0.4	△ 0.2	0.8	0.3	△ 0.1

国・地方を通じた純計歳出規模

出典：令和3年版地方財政白書（https://www.soumu.go.jp/menu_seisaku/hakusyo/chihou/r03data/2021data/r03czb01-01.html#p010102）

df = pd.read_csv("z-002-pre.csv")
df.to_csv("z-002-pre.csv", index=None)
disp(df, "加工前")
df = df.drop([0, 1, 2])
df.to_csv("z-002.csv", encoding="utf-8-sig")
disp(df, "加工後")

加工前

	第2図　国・地方を通じた純計歳出規模（目的別）	Unnamed: 1	Unnamed: 2	Unnamed: 3	Unnamed: 4	Unnamed: 5
0	NaN	NaN	NaN	NaN	NaN	（単位　％）
1	NaN	NaN	地方の割合	57.4	国の割合	42.6
2	NaN	NaN	NaN	NaN	NaN	NaN
3	衛生費	3.8	保健所・ごみ処理等	98	NaN	2
4	学校教育費	8.9	小・中学校、幼稚園等	87	NaN	13
5	司法警察消防費	4.1	NaN	77	NaN	23

加工後

	第2図　国・地方を通じた純計歳出規模（目的別）	Unnamed: 1	Unnamed: 2	Unnamed: 3	Unnamed: 4	Unnamed: 5
3	衛生費	3.8	保健所・ごみ処理等	98	NaN	2
4	学校教育費	8.9	小・中学校、幼稚園等	87	NaN	13
5	司法警察消防費	4.1	NaN	77	NaN	23
6	社会教育費等	3.0	公民館、図書館、博物館等	81	NaN	19
7	民生費（年金関係を除く。）	22.2	児童福祉、介護などの老人福祉、生活保護等	70	NaN	30
8	国土開発費	8.4	都市計画、道路、橋りょう、公営住宅等	72	NaN	28

国・地方を通じた目的別歳出構成比の推移

出典：令和3年版地方財政白書（https://www.soumu.go.jp/menu_seisaku/hakusyo/chihou/r03data/2021data/r03czb01-01.html#p010102）

df = pd.read_csv("z-001-pre.csv")
disp(df, "加工前")
df.columns = df.iloc[1]
df = df.drop([0, 1, 8])
df.to_csv("z-001.csv", encoding="utf-8-sig")
disp(df, "加工後")

加工前

	第1図　国・地方を通じた目的別歳出額構成比の推移	Unnamed: 1	Unnamed: 2	Unnamed: 3	Unnamed: 4	Unnamed: 5	Unnamed: 6	Unnamed: 7	Unnamed: 8	Unnamed: 9	Unnamed: 10	Unnamed: 11
0	（単位　％）	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
1	NaN	平成21年度	平成22年度	平成23年度	平成24年度	平成25年度	平成26年度	平成27年度	平成28年度	平成29年度	平成30年度	令和元年度
2	社会保障関係費	29.8	31.2	32.7	32.7	31.8	32.8	33.7	34.4	34.6	34.4	34.7
3	公債費	18.9	20.3	19.8	20.9	20.9	21.4	21.3	20.6	20.9	20.6	20.0
4	機関費	11.9	12.5	11.7	10.6	11.8	11.7	11.8	11.4	11.5	11.9	11.8
5	教育費	11.7	11.9	11.7	12.1	11.6	11.7	11.7	11.7	11.8	11.8	11.9

加工後

1	NaN	平成21年度	平成22年度	平成23年度	平成24年度	平成25年度	平成26年度	平成27年度	平成28年度	平成29年度	平成30年度	令和元年度
2	社会保障関係費	29.8	31.2	32.7	32.7	31.8	32.8	33.7	34.4	34.6	34.4	34.7
3	公債費	18.9	20.3	19.8	20.9	20.9	21.4	21.3	20.6	20.9	20.6	20.0
4	機関費	11.9	12.5	11.7	10.6	11.8	11.7	11.8	11.4	11.5	11.9	11.8
5	教育費	11.7	11.9	11.7	12.1	11.6	11.7	11.7	11.7	11.8	11.8	11.9
6	国土保全及び開発費	12.0	11.3	10.6	10.2	10.9	10.5	9.9	10.4	10.5	10.5	10.8
7	産業経済費	9.9	8.2	9.4	8.2	7.1	6.8	6.9	6.7	6.3	6.2	6.4

サンプルデータ

総務省のデータ

国内総生産の増加率に対する寄与度

加工前

加工後

国・地方を通じた純計歳出規模

加工前

加工後

国・地方を通じた目的別歳出構成比の推移

加工前

加工後

コメント欄