K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

回帰直線を重ねた散布図

入門

06.5.3

回帰直線を重ねた散布図

最終更新 2020-02-26 読了時間 2 分
まとめ
回帰直線を重ねた散布図は、点の帯の真ん中に最小二乗法で 1 本の直線を引き、「横の量が 1 増えると縦の量はどれだけ増えるか」を傾きとして読む図です。seaborn の sns.lmplot(data=tips, x="total_bill", y="tip", hue="time") は、散布図・回帰直線・95% の信頼区間の帯を 1 行で描き、hue で指定した列の値ごとに直線を分けます。この章では飲食店 244 件の会計額とチップを昼(Lunch)と夜(Dinner)に色分けし、2 本の直線の傾きと帯の太さを比べます。読み終えると、信頼区間が点の少ない端で広がる理由、order や lowess で曲がった関係に対応する方法、1 つの外れ値が直線を引っぱる仕組みが分かります。

先に 散布図の基本形 で点の帯の読み方を見ておくと、ここで足す直線が「帯の真ん中を通る 1 本」だと分かります。

直感 #

会計額とチップの散布図を見れば「会計が大きいほどチップも多い」とは分かりますが、「会計が 10 ドル増えるとチップは何ドル増えるか」は帯の真ん中に直線を引いて傾きを読まないと答えられません。直線の引き方は最小二乗法で、各点から直線までの縦のズレを 2 乗して足した値が最小になる 1 本を選びます。直線の周りの薄い帯は信頼区間で、「別の 244 件を集め直したら直線はどこに来るか」のありうる範囲を表し、点が密な中央で細く、点の少ない両端で広がります。昼と夜で直線を分けると、2 本の傾きの差がそのまま「時間帯によるチップの増え方の違い」になります。

何が起きているか(ステップで見る) #

コードを読む前に、この手法が図の上で何をしているかを追ってみましょう。「再生」を押すか、スライダーを動かすと 1 手順ずつ進みます。

見るポイント:正方形の面積の合計が残差二乗和。大きな正方形 1 つが、小さな正方形の多くに勝つ(外れ値に弱い理由)。

Python で描く #

次のコードは、seaborn 付属の tips データを読み込み、会計額 total_bill を横、チップ tip を縦にして sns.lmplot で描きます。hue="time" で昼と夜を色分けし、それぞれに回帰直線と信頼区間を引き、点は scatter_kws で半透明にしています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
import seaborn as sns
import matplotlib.pyplot as plt

tips = sns.load_dataset("tips")
g = sns.lmplot(
    data=tips,
    x="total_bill",
    y="tip",
    hue="time",
    height=4,
    aspect=1.2,
    scatter_kws={"alpha": 0.6, "s": 40},
)
g.fig.suptitle("会計額とチップの関係(回帰線付き)", y=1.04)

plt.show()

信頼区間も自動で付与されますの図

実行結果の読み方 #

昼と夜の 2 本の直線はどちらも右上がりです。傾きはおよそ 0.1、つまり「会計が 10 ドル増えるとチップは約 1 ドル増える」と読めます。信頼区間の帯は点が密な 10〜20 ドル付近で細く、点の少ない 40 ドル以上で広がり、「右端ではどちらの直線が上かは断言できない」ことを帯の重なりが示しています。夜の点は昼より多く、会計額 50 ドル近くの大きな会計も夜に集中しているので、夜の直線は右端まで比較的細い帯で延びます。

使いどころと落とし穴 #

回帰直線付き散布図が向くのは、2 変数の線形な傾向を「傾きの数字」として読みたい場面と、hue でグループ分けして「増え方の違い」を比べたい場面です。帯が曲がっているなら order=2 で 2 次の多項式を当てるか、lowess=True で局所回帰の曲線を重ね、直線で無理に表さないようにします。落とし穴の 1 つ目は曲がったデータへの直線で、U 字型の点に直線を引くと「相関なし」に見えますが関係はあるので、まず点だけの散布図で形を確かめ、残差プロットで直線性を検証します。2 つ目は外れ値で、最小二乗法は残差を 2 乗するため、会計 50 ドルでチップ 0 ドルという 1 点が直線の右端を大きく引き下げます。robust=True で外れ値の影響を抑えた直線を引くか、外れ値を入れた場合と除いた場合の 2 枚を比べます。