06.7.21
インターバルドットプロットで推定値と不確実性を管理
ax.hlines(y, low, high) で区間、ax.scatter(effect, y) で点推定、ax.axvline(0, linestyle="--") で基準線を引くだけで完成します。読み終えると、無料会員の改善率 12% ± 5% の区間が 0 を含まないので効果が有意だと読み取り、AB テストや回帰係数の表を同じ形で図にできるようになります。直感 #
AB テストで「無料会員の改善率は 12%、プレミアム会員は 35%」と点推定だけを報告すると、サンプルが少ないセグメントの大きな数字をそのまま信じることになります。インターバルドットプロットは、各セグメントの点の左右に信頼区間の線を伸ばし、「本当の効果はこの線のどこかにある」と幅で見せます。線が短いほど推定は確かです。長いほど不確かで、線が 0 の基準線を跨いでいれば「効果がないという可能性を否定できない」と読み、この図ではプレミアム会員の区間が最も長い(+9/−8 ポイント)ので、サンプルが少ないか分散が大きいことも同時に伝わります。
Python で描く #
次のコードは 4 セグメントの点推定 effect と、下限 low・上限 high を用意し、hlines で区間、scatter で点推定を描きます。右端に推定値と上下の幅をテキストで添えます。
| |

実行結果の読み方 #
各行の点が改善率の点推定、左右の線が 90% 信頼区間です。線が短い無料会員(±5 ポイント)は推定が安定しています。線が長いプレミアム(+9/−8 ポイント)は不確かさが大きく、4 本の線はいずれも破線の 0 より右側にあるので、どのセグメントでも効果が 0 である可能性は 90% 区間の外にあります。区間どうしが重なっている無料会員とライトプラン(12% と 18%)の差は、重なりが大きい分「2 つの間に差がある」とは言い切れません。
使いどころと落とし穴 #
インターバルドットプロットは、AB テストのセグメント別効果、回帰係数の一覧、調査の平均値比較のように「推定値と不確かさを 3〜15 グループで比べる」場面に向いています。信頼水準(90% か 95% か)とサンプルサイズを図のタイトルか注釈に書かないと、区間の幅の意味が伝わらないので、必ず併記してください。区間が広い行を読者は「大きな効果」と誤読しやすいため、「線が長い = 不確か」であることを注記します。グループが 20 を超えるなら Y 方向に jitter を加えます。メタ分析の文脈では、同じ構造でサンプルサイズを点の大きさに反映させたフォレストプロットが標準の表現です。