03.2.4
MAPE と sMAPE
mean_absolute_percentage_error は 0〜1 の比率で返すので、% 表示には 100 を掛けます。MAE・RMSE の MAE は誤差を元の単位(個や円)で平均した値で、MAPE はそれを実測値で割って % にしたものです。先に MAE を押さえておくと、「割る」ことで何が変わるかが見えます。
直感:誤差 10 は大きいのか小さいのか #
売上 1,000 個の店で 10 個外すのと、売上 20 個の店で 10 個外すのは、同じ MAE 10 でも深刻さが違います。前者は 1%、後者は 50% の外れです。MAPE は誤差を実測値で割ることで、規模の違う店や商品を「何 % 外したか」という同じ物差しで比べられるようにします。ただし割る相手が実測値なので、実測値が 2 のような小さい日は誤差 8 でも 400% になり、1 件で全体の平均を支配します。この弱点を分母の取り方で和らげたのが sMAPE です。
定義 #
$$ \mathrm{MAPE} = \frac{100}{n} \sum_{i=1}^n \left| \frac{y_i - \hat{y}_i}{y_i} \right| $$各データの誤差を実測値 \(y_i\) で割った相対誤差の絶対値を平均し、100 を掛けて % にしています。値が小さいほど予測が実測に近く、実測値が 0 に近いデータが 1 件あるだけで値が跳ね、\(y_i = 0\) ではゼロ除算で計算できません。
Python での実装 #
4 件の売上の実測値と予測値から、scikit-learn の関数で MAPE を求めます。相対誤差は 10/120, 10/150, 5/80, 10/200 なので、平均は約 6.56% になります。
| |
scikit-learn の mean_absolute_percentage_error は既定で 0〜1 の値を返すため、パーセント表示には 100 を掛けます。
sMAPE(Symmetric MAPE) #
MAPE は実測値が 0 に近いと値が暴走しやすいため、分母に予測値も加えた sMAPE(対称 MAPE) がよく使われます。
計算式 #
$$ \mathrm{sMAPE} = \frac{100}{n} \sum_{i=1}^n \frac{|y_i - \hat{y}_i|}{(|y_i| + |\hat{y}_i|)/2} $$分母に実測値と予測値の平均を取ることで、実測値が 2 でも予測値が 10 なら分母は 6 になり、MAPE のように 2 で割る極端な値を避けられます。分子は分母の 2 倍を超えられないので、値の範囲は 0〜200% に収まります(MAPE は 0〜∞)。M4 コンペティションなど、需要予測コンテストの公式指標として広く採用されています。
Python 実装 #
sMAPE は scikit-learn にないので、定義式をそのまま NumPy で書きます。同じ 4 件のデータなら約 6.62% になります。
| |
計算例:MAPE vs sMAPE #
実測値が小さいデータを 1 件含めて、ゼロ付近での挙動の違いを確認します。
| 実測値 $y$ | 予測値 $\hat{y}$ | 絶対誤差 | MAPE 寄与 $\frac{|y-\hat{y}|}{y}$ | sMAPE 寄与 $\frac{|y-\hat{y}|}{(y+\hat{y})/2}$ |
|---|---|---|---|---|
| 100 | 90 | 10 | $10/100 = 10.0%$ | $10/95 = 10.5%$ |
| 50 | 60 | 10 | $10/50 = 20.0%$ | $10/55 = 18.2%$ |
| 2 | 10 | 8 | $8/2 = \mathbf{400.0%}$ | $8/6 = \mathbf{133.3%}$ |
| 80 | 78 | 2 | $2/80 = 2.5%$ | $2/79 = 2.5%$ |
3 行目のように実測値が小さい($y=2$)場合、MAPE は 400% に跳ね上がりますが、sMAPE は 133% に抑えられます。MAPE では 1 つの外れ値が全体平均を支配してしまう一方、sMAPE はより安定した評価を提供します。
需要予測で sMAPE が好まれる理由 #
理由は 3 つあります。第一に、ゼロ需要への耐性です。小売や物流では需要ゼロの SKU が頻出し、MAPE はゼロ除算で破綻しますが、sMAPE は予測値が正であれば計算できます。第二に、過大予測と過小予測の対称性です。MAPE は「実測 100 → 予測 50」で 50%、「実測 50 → 予測 100」で 100% と異なる値を返しますが、sMAPE はどちらも 66.7% と対称に評価します。第三に、M3・M4 コンペティションで公式指標として採用され、需要予測分野のベンチマークとして定着しているため、他の研究や手法と数値を比べやすいことです。
MAPE・sMAPE・WAPE 比較表 #
需要予測の文脈で頻出する 3 つの割合誤差指標を整理します。
| 指標 | 分母 | 範囲 | ゼロ耐性 | 主な用途 |
|---|---|---|---|---|
| MAPE | 実測値 $y_i$ | 0〜∞ | ✗(ゼロで発散) | 一般的な割合誤差、ビジネス報告 |
| sMAPE | $(y_i + \hat{y}_i)/2$ | 0〜200% | △(両方ゼロで不定) | 対称的な割合誤差、予測コンペ |
| WAPE | $\sum y_i$(総量) | 0〜∞ | ✓(個別ゼロに強い) | 需要予測、在庫管理 |
ビジネス報告で「平均何 % 外した」を伝えたいなら MAPE ですが、実測値 0 の行を除く処理が必須です。予測コンペに出す、または過大・過小予測の対称性を重視するなら sMAPE を選びます。SKU 単位の需要予測でゼロ需要が多いなら、分母を総量にした WAPE が安定します。
使用時の注意点 #
まず、ゼロや負の値です。MAPE は実測値 0 で発散し、負の値では「% 外れ」の意味が変わるので、ゼロ除けか sMAPE の利用を検討します。次に、平均の偏りです。大きな実測値より小さな実測値の誤差が重くなるため、売上 1000 の誤差 10(1%)より売上 10 の誤差 5(50%)のほうが 50 倍大きく影響します。外れ値については、割合指標なので誤差 100 のような絶対値の外れ値には強いものの、実測値が 2 のような小さい行を除かないと破綻します。最後に解釈の面で、ビジネスでは「平均で 6.6% 外した」と伝えやすい一方、それが何円の損失かという金額換算はできない点に注意します。
他指標との併用 #
MAE / RMSE を併用して、% だけでなく「何個・何円外れたか」という実際のダメージ量を把握します。過小予測を重視したいときは対数誤差を取る RMSLE、需要予測でリスクバッファを設けるなら上限・下限の目標値も合わせて評価できる分位点損失(Pinball Loss)を組み合わせます。
ノイズと MAPE #
ノイズ量を 0 から 3.0 まで増やすと MAPE がどう変化するか確認できます。実測値が 0 に近い点が含まれると、同じノイズでも MAPE だけが跳ねる様子が見えます。
まとめ #
MAPE は誤差を実測値で割って「平均何 % 外したか」にする指標で、4 件の例なら 6.56% とビジネス側に伝えやすい反面、実測値 2 のデータが 1 件あるだけで 400% の寄与が平均を 108.1% まで押し上げ、実測値 0 では計算できません。sMAPE は分母を実測値と予測値の平均に替えて同じ例を 41.1% に抑え、値域も 0〜200% に収まるため、M4 のような需要予測コンテストの標準指標になっています。mean_absolute_percentage_error は比率で返すので 100 を掛け、sMAPE は np.maximum(denominator, 1e-8) 付きで自作します。どちらも金額換算はできないので、MAE・RMSE と並べて絶対的なダメージ量も確認します。