企業の財務情報をパース

最終更新 2020-05-20 読了時間 9 分

まとめ

財務データの比較で手間が掛かるのは計算ではなく、サイトから保存した CSV を DataFrame に整える前処理です。このページでは Morningstar から保存した損益計算書（Income Statement）と主要指標（Key Ratios）の CSV を、en_US_ja_JP_table の対訳辞書で科目名を日本語に置き換えつつ、桁区切りのカンマを正規表現で除き、年月をヘッダーとして転置する関数 get_preprocessed_df() で読み込みます。海運業の Golden Ocean（GOGL）、ZIM、Star Bulk（SBLK）の 3 社を pd.concat で縦に積み、ticker 列を hue にした seaborn.barplot で期ごとの売上と当期純利益を横並びにします。読み終えると、別の企業の CSV を同じフォルダに置くだけで同じ比較図が作れるようになります。

直感 #

Morningstar の財務ページから保存した CSV は、1 行目にタイトル、途中に「Revenue」のような科目名だけの行、数値は "1,234" のように引用符とカンマ付き、列の見出しは 2017-12 のような年月に TTM（直近 12 か月）が混ざる、という人が読むための形になっています。pd.read_csv にそのまま渡すと列数が行ごとに違ってエラーになるので、1 行ずつ読んで「科目名の行か、数値の行か、年月の見出し行か」を見分けながら組み立て直します。整えた後は「行 = 期（月）、列 = 科目、ticker 列 = 会社」という縦長の表になり、seaborn に渡せば 3 社の棒が期ごとに並びます。

CSV を 1 行ずつ読む数値中のカンマを除く科目名を日本語に置換 TTM を含む行を年月ヘッダーに数値行を float に変換して追加転置して「行 = 月」にする ticker 列を付けて 3 社を concat barplot(hue=“ticker”)

近い業界にある海運 3 社の、期ごとの売上と当期純利益の推移を確認します。

このページの日英訳は以下のサイトのものを参考しつつ作成していますが、正確性に欠ける可能性があるのであくまで参考程度にお願い致します。 TOMAコンサルタンツグループ株式会社海外決算書の科目　英語→日本語簡易対訳　損益計算書編

1
2
3
4
5
6
7
import matplotlib.pyplot as plt
import numpy as np
import os
import pandas as pd
import re
import seaborn as sns
from IPython.core.display import display

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

5 行目正規表現 re で桁区切りのカンマを扱う
Morningstar の CSV は "1,234" のように数値の中にカンマが入っています。re.sub でこのカンマだけを取り除き、列の区切りのカンマは残す処理に使います。
3 行目os はファイル名からティッカーを取り出すのに使う
os.path.basename("data/GOGL Income Statement.csv") から先頭の GOGL を切り出して ticker 列に入れます。ファイル名の規約（ティッカー + 空白）が前提です。
7 行目display で複数の表を 1 セルに出す
display() を使うと、1 つのセルの中で損益計算書と Key Ratios の head() を両方表示できます。最後の式しか表示されないノートブックの既定動作を補うためです。

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
# 英日辞書
en_US_ja_JP_table = {
    "Revenue": "売上",
    "Cost of revenue": "収益コスト",
    "Gross profit": "粗利益",
    "Sales, General and administrative": "販売費及び一般管理費",
    "Other operating expenses": "その他営業費用",
    "Total operating expenses": "営業費用",
    "Operating income": "営業利益",
    "Interest Expense": "支払利息",
    "Other income (expense)": "Other income (expense)",
    "Income before taxes": "Income before taxes",
    "Provision for income taxes": "Provision for income taxes",
    "Net income from continuing operations": "Net income from continuing operations",
    "Net income available to common shareholders": "普通株式に係る当期純利益",
    "Net income": "当期純利益",
    "Basic": "Basic",
    "Diluted": "Diluted",
    "EBITDA": "EBITDA",
    "Revenue ": "売上",
    "Gross Margin %": "	売上総利益率",
    "Operating Income ": "営業利益",
    "Operating Margin %": "営業利益率",
    "Net Income ": "純利益",
    "Earnings Per Share USD": "EPS (USD)",
    "Dividends USD": "配当 (USD)",
    "Payout Ratio % *": "配当性向",
    "Shares Mil": "株数 (Mil)",
    "Book Value Per Share * USD": "1株あたり純資産",
    "Operating Cash Flow ": "営業キャッシュフロー",
    "Cap Spending ": "資本的支出",
    "Free Cash Flow ": "フリーキャッシュフロー（FCF）",
    "Free Cash Flow Per Share * USD": "1株あたりFCF",
    "Working Capital ": "運転資本",
    "Key Ratios -> Profitability": "",
    "Margins % of Sales": "Margins % of Sales",
    "COGS": "売上原価",
    "Gross Margin": "売上高総利益率",
    "SG&A": "販売費及び一般管理費",
    "R&D": "研究開発費",
    "Operating Margin": "営業利益率",
    "Net Int Inc & Other": "資金運用利益+その他",
    "EBT Margin": "EBTマージン",
    "Debt/Equity": "負債比率",
    "Receivables Turnover": "売上債権回転率",
    "Inventory Turnover": "棚卸資産回転率",
    "Fixed Assets Turnover": "固定資産回転率",
    "Asset Turnover": "総資産回転率",
    "USD Mil": "(USD Mil)",
    "-Year Average": "年平均",
}

def get_preprocessed_df(
    filepath,
    is_transpose=True,
    drop_ttm_lastqrt=True,
    ttm_datetime="2021-12",
    lastqtr_datetime="2021-12",
    add_ticker_column=True,
):
    """Morningstar, Incのデータを整形する

    Args:
        filepath (str): ファイルパス
        is_transpose (bool, optional): タイムスタンプ列を縦にするかどうか. Defaults to True.
        drop_ttm_lastqrt (bool, optional): TTM/Last Qrtの記録は削除する. Defaults to True.
        ttm_datetime (str, optional): 「TTM」をどの日付に置き換えるか. Defaults to "2021-12".
        lastqtr_datetime (str, optional): 「Latest Qtr」をどの日付に置き換えるか. Defaults to "2021-12".
        add_ticker_column (bool, optional): ticker symbolを示した列を追加するか. Defaults to True.

    Returns:
        DataFrame: 整形済みデータフレーム
    """
    df_preprocessed = []
    df_header = []
    row_header = ""
    df = pd.read_table(filepath, header=None)

    if not drop_ttm_lastqrt:
        print(f"[Note] TTM は {ttm_datetime} 、Last Qtrは {lastqtr_datetime} の日付として扱われます。")

    for idx, row in enumerate(df[0]):
        # 数値中の「,」を置換する
        row = re.sub('"(-?[0-9]+),', '"\\1', row)
        row = re.sub(',(-?[0-9]+)",', '\\1",', row)

        # 英語を対応する日本語に置き換える
        for str_en, str_jp in en_US_ja_JP_table.items():
            if str_en in row:
                row = row.replace(str_en, str_jp)

        # TTMがある行はタイムスタンプなのでヘッダー扱いにする
        if "TTM" in row or "Latest Qtr" in row:
            if drop_ttm_lastqrt:
                row = row.replace("TTM", "###IGNORE###")
                row = row.replace("Latest Qtr", "###IGNORE###")
            else:
                assert ttm_datetime not in row, "その日付はすでに存在しています！"
                assert lastqtr_datetime not in row, "その日付はすでに存在しています！"
                row = row.replace("TTM", ttm_datetime)
                row = row.replace("Latest Qtr", lastqtr_datetime)
            df_header = row.split(",")

            if is_transpose:
                df_header[0] = "月"
            else:
                df_header = ["月"] + df_header
            continue

        # 数値に変換できるデータは数値に変換してDataFrameに追加
        if len(row_splited := row.split(",")) > 1:
            row_data = [
                float(v) if re.match(r"^-?\d+(?:\.\d+)$", v) is not None else v
                for v in row_splited
            ]

            if is_transpose:
                row_data[0] = (
                    f"{row_header}/{row_data[0]}" if row_header else f"{row_data[0]}"
                )
            else:
                row_data = [row_header] + row_data
            df_preprocessed.append(row_data)
        else:
            # 先頭の行はファイルのタイトルが入っているので無視
            row_header = f"{row}" if idx > 0 else ""

    # データフレーム作成
    df_preprocessed = pd.DataFrame(df_preprocessed)
    df_preprocessed.columns = df_header
    if drop_ttm_lastqrt:
        df_preprocessed.drop("###IGNORE###", axis=1, inplace=True)

    # 不要な文字列を削除
    df_preprocessed.fillna(np.nan, inplace=True)

    if is_transpose:
        df_preprocessed = df_preprocessed.T.reset_index()
        df_preprocessed.columns = df_preprocessed.iloc[0, :]
        df_preprocessed.drop(0, inplace=True)
        df_preprocessed["月"] = pd.to_datetime(df_preprocessed["月"])
        for colname in df_preprocessed.columns:
            if colname != "月":
                df_preprocessed[colname] = pd.to_numeric(
                    df_preprocessed[colname], errors="coerce"
                )

    if add_ticker_column:
        filename = os.path.basename(filepath)
        ticker_symbol = filename[: filename.index(" ")]
        df_preprocessed["ticker"] = [
            ticker_symbol for _ in range(df_preprocessed.shape[0])
        ]

    return df_preprocessed

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

2-51 行目対訳辞書は「含まれていれば置換」で使う
en_US_ja_JP_table は英語の科目名をキー、日本語を値にした辞書です。後の for str_en, str_jp in ...items() で、行の中に英語が含まれていれば replace します。"Revenue " のように末尾に空白があるキーや "Gross Margin %" と "Gross Margin" のように重なるキーがあるので、辞書の順番で結果が変わります。翻訳が不要なら値を英語のままにしておけば列名はそのまま残ります。
84-85 行目数値の中のカンマだけを正規表現で消す
"(-?[0-9]+), は「引用符の直後に数字が続き、その後にカンマ」というパターンで、"1,234" の最初のカンマを消します。2 行目は末尾側のカンマを消します。列の区切りのカンマは引用符の外にあるので残り、後の row.split(",") が正しく列に分かれます。この 2 行を省くと 1,234 が 1 と 234 の 2 列に割れます。
93-108 行目TTM を含む行が年月の見出し行
Morningstar の CSV では、年月（2017-12, 2018-12, …, TTM）が並ぶ行が表の見出しです。drop_ttm_lastqrt=True のときは TTM と Latest Qtr を ###IGNORE### に置き換えておき、後で drop します。False のときは ttm_datetime で指定した年月に置き換えて通常の期として扱います。continue で見出し行はデータに追加しません。
111-126 行目カンマで割れる行はデータ、割れない行は科目の見出し
row.split(",") が 2 要素以上なら数値の行で、正規表現 ^-?\d+(?:\.\d+)$ に合うものだけ float に変換します。1 要素しかない行は Operating expenses のような科目グループ名なので row_header に覚えておき、次の数値行の先頭に "Operating expenses/当期純利益" のように / でつなぎます。この結合名が後の show_barchart の y= に出てきます。
137-146 行目転置して「行 = 月、列 = 科目」にする
元の表は「行 = 科目、列 = 年月」なので .T で転置し、先頭行を列名に昇格させて 月 列を pd.to_datetime で日付型にします。seaborn.barplot の x="月" に渡すには行が期である必要があり、各科目列は pd.to_numeric(errors="coerce") で — のような記号を NaN に変えて数値にします。
148-153 行目ファイル名から ticker 列を作る
GOGL Income Statement.csv の先頭の空白までを切り出して GOGL とし、全行に同じ値の ticker 列を足します。3 社の表を concat で縦に積んだ後、この列が「どの行がどの会社か」を示し、barplot の hue になります。

データを読み込む #

以下の例では Morningstar, Inc 社から提供されているデータを一部引用して使用しています。各企業のページから損益計算書（Income Statement）と Key Ratios を CSV で保存し、data/ フォルダに GOGL Income Statement.csv のようにティッカーで始まる名前で置いておきます。ここでは Golden Ocean Group Ltd（GOGL）、ZIM、Star Bulk（SBLK）の 3 社です。

※あくまで表示例であり正確性は保証しません。万一この情報に基づいて被ったいかなる損害についても一切責任を負い兼ねます。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
df_is_gogl = get_preprocessed_df("data/GOGL Income Statement.csv")
df_kr_gogl = get_preprocessed_df("data/GOGL Key Ratios.csv")
df_is_zim = get_preprocessed_df("data/ZIM Income Statement.csv")
df_kr_zim = get_preprocessed_df("data/ZIM Key Ratios.csv")
df_is_sblk = get_preprocessed_df("data/SBLK Income Statement.csv")
df_kr_sblk = get_preprocessed_df("data/SBLK Key Ratios.csv")

df_income_statement = pd.concat([df_is_gogl, df_is_sblk, df_is_zim])
df_key_ratio = pd.concat([df_kr_gogl, df_kr_zim, df_kr_sblk])

display(df_income_statement.head())
display(df_key_ratio.head())

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1-6 行目3 社 × 2 種類の CSV を同じ関数で整形する
損益計算書（Income Statement）と主要指標（Key Ratios）は列の構成が違いますが、get_preprocessed_df は見出し行を TTM の有無で見分けるので、どちらにも同じ関数が使えます。6 回の呼び出しで引数はファイルパスだけです。
8-9 行目concat で縦に積み、ticker 列で会社を区別する
pd.concat で 3 社の表を縦方向に結合します。列名（科目）は共通なので揃い、会社の違いは ticker 列に残ります。この縦長の形が seaborn の hue="ticker" にそのまま対応します。
11-12 行目列数が 22 と 87 であることを確認する
head() の下に出る「5 rows × 22 columns」「5 rows × 87 columns」が、損益計算書と Key Ratios の科目数です。列名が日本語に置き換わっていること、月 列が日付になっていることをここで見ておきます。

	月	売上	収益コスト	粗利益	Operating expenses/販売費及び一般管理費	Operating expenses/その他営業費用	Operating expenses/営業費用	Operating expenses/営業利益	Operating expenses/支払利息	Operating expenses/Other income (expense)	...	Operating expenses/当期純利益 from continuing operations	Operating expenses/当期純利益	Operating expenses/普通株式に係る当期純利益	Earnings per share/Basic	Earnings per share/Diluted	Weighted average shares outstanding/Basic	Weighted average shares outstanding/Diluted	Weighted average shares outstanding/EBITDA	ticker	Operating expenses/Other
1	2016-12-01	258	313	-55	13	2	15	-70	42	-16	...	-128	-128	-128	-1.34	-1.34	95	95	-22	GOGL	NaN
2	2017-12-01	460	400	60	13	-4	9	51	57	3	...	-2	-2	-2	-0.02	-0.02	125	125	133	GOGL	NaN
3	2018-12-01	656	499	158	15	-3	12	146	73	12	...	85	85	85	0.59	0.59	144	144	250	GOGL	NaN
4	2019-12-01	706	590	116	14	1	15	101	57	-6	...	37	37	37	0.26	0.26	144	144	188	GOGL	NaN
5	2020-12-01	608	564	44	14	-3	11	33	45	-126	...	-138	-138	-138	-0.96	-0.96	143	143	18	GOGL	NaN

5 rows × 22 columns

	月	Financials/売上 (USD Mil)	Financials/\t売上総利益率	Financials/営業利益(USD Mil)	Financials/営業利益率	Financials/純利益(USD Mil)	Financials/EPS (USD)	Financials/配当 (USD)	Financials/配当性向	Financials/株数 (Mil)	...	Key Ratios -> Financial Health/負債比率	Key Ratios -> Efficiency Ratios/Days Sales Outstanding	Key Ratios -> Efficiency Ratios/Days Inventory	Key Ratios -> Efficiency Ratios/Payables Period	Key Ratios -> Efficiency Ratios/Cash Conversion Cycle	Key Ratios -> Efficiency Ratios/売上債権回転率	Key Ratios -> Efficiency Ratios/棚卸資産回転率	Key Ratios -> Efficiency Ratios/固定資産回転率	Key Ratios -> Efficiency Ratios/総資産回転率	ticker
1	2011-12-01	95.0	68.2	38.0	40.4	33.0	6.12	9.00	NaN	5.0	...	0.42	18.79	32.12	36.01	14.89	19.43	11.36	0.21	0.18	GOGL
2	2012-12-01	37.0	38.2	10.0	26.8	-53.0	-10.08	5.40	488.7	5.0	...	0.39	48.04	39.37	26.39	61.02	7.60	9.27	0.11	0.08	GOGL
3	2013-12-01	38.0	31.3	7.0	18.2	-4.0	-0.69	3.15	NaN	6.0	...	0.30	26.25	20.60	19.16	27.68	13.91	17.72	0.13	0.09	GOGL
4	2014-12-01	97.0	25.4	19.0	20.1	16.0	1.38	2.81	184.2	11.0	...	0.39	11.45	37.85	16.10	33.20	31.88	9.64	0.13	0.12	GOGL
5	2015-12-01	190.0	-28.6	-72.0	-37.6	-221.0	-7.30	NaN	NaN	30.0	...	0.80	11.90	21.19	5.57	27.51	30.68	17.22	0.13	0.11	GOGL

5 rows × 87 columns

変化を可視化する #

縦に積んだ 3 社の表を seaborn.barplot に渡し、期ごとに 3 本の棒が並ぶ図を作る関数を用意します。

seaborn.barplot

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
def show_barchart(data, x="月", y="売上", hue="ticker", is_log_scale=False):
    """バーチャートを表示する

    Args:
        data (pandas.DataFrame): データフレーム
        x (str, optional): 時間軸. Defaults to "月".
        y (str, optional): 比較する指標. Defaults to "売上".
        hue (str, optional): 何基準で比較するか. Defaults to "ticker".
        is_log_scale (bool, optional): logスケールで表示するかどうか. Defaults to False.
    """
    sns.set_theme(style="whitegrid", rc={"figure.figsize": (10, 4)})

    g = sns.barplot(data=data, x=x, y=y, hue=hue)
    g.set_xticklabels(
        [xt.get_text().split("-01")[0] for xt in g.get_xticklabels()]
    )  # TODO: mdates.DateFormatterで日付を表示するとなぜか日付がずれるのでラベルを直接書き換える
    g.tick_params(axis="x", rotation=90)
    if is_log_scale:
        g.set_yscale("log")
    plt.legend(loc="upper left", title="Ticker Name")
    plt.title(f"{y}の比較", fontsize=14)
    plt.show()

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

11 行目テーマと図のサイズを関数の中で固定する
sns.set_theme(style="whitegrid", rc={"figure.figsize": (10, 4)}) で白地に横線のグリッド、横長の図にしています。関数の中で呼ぶことで、どの指標を描いても同じ見た目になります。
13 行目hue="ticker" で期ごとに 3 社の棒を並べる
x="月" が横軸の期、y が比較する科目、hue="ticker" が棒の色分けです。各期に GOGL・SBLK・ZIM の 3 本が並び、同じ期の売上や利益の大小が直接比べられます。y に "Operating expenses/当期純利益" のような結合名を渡せるのは、前処理で科目グループ名を / でつないだからです。
14-17 行目日付ラベルを年月だけに切り、縦書きにする
barplot の横軸はカテゴリ扱いなので、ラベルは 2017-12-01 00:00:00 のような文字列になります。split("-01")[0] で 2017-12 だけを残し、rotation=90 で縦書きにして重なりを防ぎます。mdates.DateFormatter を使うと位置がずれたため、文字列を直接書き換える方法にしています。
18-19 行目桁が違う会社を比べるときは対数軸にする
is_log_scale=True で縦軸を対数にできます。売上が 10 倍違う会社を並べると小さい方の棒が見えなくなるので、その場合に使います。既定の False のままだと、同じ業界で規模が近い 3 社の比較に向いた線形軸です。
20-21 行目凡例とタイトルを y の名前から自動で付ける
plt.title(f"{y}の比較") で、渡した科目名がそのままタイトルになります。凡例は title="Ticker Name" を付けて左上に置き、棒と色の対応が読めるようにしています。

1
2
show_barchart(df_income_statement, x="月", y="売上", hue="ticker")
show_barchart(df_income_statement, x="月", y="Operating expenses/当期純利益", hue="ticker")

コードの解説番号をクリックすると、コード内の該当行がハイライトされます。

1 行目売上の棒グラフ
y="売上" は対訳辞書で Revenue を置き換えた列です。3 社とも 2021 年に売上が大きく伸びており、コンテナ運賃・ばら積み運賃の高騰が同じ期に 3 社へ効いたことが棒の高さの並びで分かります。
2 行目当期純利益は科目グループ名付きの列名で指定する
"Operating expenses/当期純利益" という列名は、前処理で Operating expenses グループの下にあった Net income 行を / でつないだ結果です。売上に比べて利益の棒は期によって負（赤字）になる会社もあり、売上が伸びても利益が出ない期があることが見比べられます。
1-2 行目他の科目に替えるには列名を変えるだけ
df_income_statement.columns で列名一覧を見て、y="営業利益" や y="EPS (USD)" に替えれば同じ関数で別の指標の比較図になります。Key Ratios 側の df_key_ratio を渡せば y="営業利益率" のような比率の比較もできます。

変化を可視化するの図

実行結果の読み方 #

1 枚目の売上では、2021 年の期に 3 社の棒がそろって前年の 2〜3 倍に伸びています。2 枚目の当期純利益では、2016〜2018 年に赤字（負の棒）だった期がある会社と、黒字を保った会社の違いが見え、売上の順位と利益の順位が一致しない期もあります。横軸は各社の決算期をまとめた月なので、決算月が違う会社を比べるときは同じ月の棒が「同じ時期」ではない点に注意してください。

使いどころと落とし穴 #

get_preprocessed_df は Morningstar の CSV の書式（1 行目がタイトル、TTM を含む見出し行、科目グループ名だけの行）に依存しているので、書式が変わると df_header が空のまま columns = df_header で失敗します。対訳辞書は「含まれていれば置換」なので、"Revenue" と "Revenue " のように似たキーが複数あると置換が二重に掛かることがあり、列名が想定と違うときは辞書の順番を疑います。TTM を捨てる既定（drop_ttm_lastqrt=True）は期を揃えて比較するためで、直近 12 か月も見たいときは ttm_datetime を決算月に合わせて False にします。

まとめ #

Morningstar の CSV は人が読む形なので、get_preprocessed_df() で 1 行ずつ「見出し・科目グループ・数値」を見分け、カンマ除去と対訳辞書の置換を経て「行 = 月、列 = 科目、ticker 列 = 会社」の表に組み直しました。3 社を pd.concat で積めば show_barchart(df, y="売上", hue="ticker") の 1 行で期ごとの比較図になり、y を "Operating expenses/当期純利益" に替えれば利益の比較に切り替わります。前処理関数を 1 つ用意しておくことで、CSV を追加するだけで比較対象の会社を増やせるのがこの構成の利点です。