K_DM Book
用語集
対象者 標準
対象者別の入口 →

対象者の設定はこのブラウザの中にだけ保存されます。

言語 JA

MAPE と sMAPE

入門

03.2.4

MAPE と sMAPE

最終更新 2020-03-11 読了時間 4 分
まとめ
MAPE(平均絶対パーセント誤差)は、各データの誤差 \(|y_i - \hat{y}_i|\) を実測値 \(y_i\) で割って百分率にし、平均した指標です。売上 120 を 110 と予測すれば 8.3%、売上 2 を 10 と予測すれば 400% と、実測値が小さいデータの誤差が極端に重く数えられ、実測値 0 では計算できません。sMAPE はこの分母を実測値と予測値の平均 \((|y_i| + |\hat{y}_i|)/2\) に替えたもので、同じ 4 件の例で MAPE が 108.1% になるところを 41.1% に抑え、値域も 0〜200% に収まります。scikit-learn の mean_absolute_percentage_error は 0〜1 の比率で返すので、% 表示には 100 を掛けます。

MAE・RMSE の MAE は誤差を元の単位(個や円)で平均した値で、MAPE はそれを実測値で割って % にしたものです。先に MAE を押さえておくと、「割る」ことで何が変わるかが見えます。


直感:誤差 10 は大きいのか小さいのか #

売上 1,000 個の店で 10 個外すのと、売上 20 個の店で 10 個外すのは、同じ MAE 10 でも深刻さが違います。前者は 1%、後者は 50% の外れです。MAPE は誤差を実測値で割ることで、規模の違う店や商品を「何 % 外したか」という同じ物差しで比べられるようにします。ただし割る相手が実測値なので、実測値が 2 のような小さい日は誤差 8 でも 400% になり、1 件で全体の平均を支配します。この弱点を分母の取り方で和らげたのが sMAPE です。

定義 #

$$ \mathrm{MAPE} = \frac{100}{n} \sum_{i=1}^n \left| \frac{y_i - \hat{y}_i}{y_i} \right| $$

各データの誤差を実測値 \(y_i\) で割った相対誤差の絶対値を平均し、100 を掛けて % にしています。値が小さいほど予測が実測に近く、実測値が 0 に近いデータが 1 件あるだけで値が跳ね、\(y_i = 0\) ではゼロ除算で計算できません。


Python での実装 #

4 件の売上の実測値と予測値から、scikit-learn の関数で MAPE を求めます。相対誤差は 10/120, 10/150, 5/80, 10/200 なので、平均は約 6.56% になります。

1
2
3
4
5
6
7
8
import numpy as np
from sklearn.metrics import mean_absolute_percentage_error

y_true = np.array([120, 150, 80, 200])
y_pred = np.array([110, 160, 75, 210])

mape = mean_absolute_percentage_error(y_true, y_pred)
print(f"MAPE = {mape * 100:.2f}%")

scikit-learn の mean_absolute_percentage_error は既定で 0〜1 の値を返すため、パーセント表示には 100 を掛けます。


sMAPE(Symmetric MAPE) #

MAPE は実測値が 0 に近いと値が暴走しやすいため、分母に予測値も加えた sMAPE(対称 MAPE) がよく使われます。

計算式 #

$$ \mathrm{sMAPE} = \frac{100}{n} \sum_{i=1}^n \frac{|y_i - \hat{y}_i|}{(|y_i| + |\hat{y}_i|)/2} $$

分母に実測値と予測値の平均を取ることで、実測値が 2 でも予測値が 10 なら分母は 6 になり、MAPE のように 2 で割る極端な値を避けられます。分子は分母の 2 倍を超えられないので、値の範囲は 0〜200% に収まります(MAPE は 0〜∞)。M4 コンペティションなど、需要予測コンテストの公式指標として広く採用されています。

Python 実装 #

sMAPE は scikit-learn にないので、定義式をそのまま NumPy で書きます。同じ 4 件のデータなら約 6.62% になります。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
import numpy as np

def smape(y_true: np.ndarray, y_pred: np.ndarray) -> float:
    numerator = np.abs(y_true - y_pred)
    denominator = (np.abs(y_true) + np.abs(y_pred)) / 2
    return float(np.mean(numerator / np.maximum(denominator, 1e-8)))

y_true = np.array([120, 150, 80, 200])
y_pred = np.array([110, 160, 75, 210])
print(f"sMAPE = {smape(y_true, y_pred) * 100:.2f}%")

計算例:MAPE vs sMAPE #

実測値が小さいデータを 1 件含めて、ゼロ付近での挙動の違いを確認します。

実測値 $y$予測値 $\hat{y}$絶対誤差MAPE 寄与 $\frac{|y-\hat{y}|}{y}$sMAPE 寄与 $\frac{|y-\hat{y}|}{(y+\hat{y})/2}$
1009010$10/100 = 10.0%$$10/95 = 10.5%$
506010$10/50 = 20.0%$$10/55 = 18.2%$
2108$8/2 = \mathbf{400.0%}$$8/6 = \mathbf{133.3%}$
80782$2/80 = 2.5%$$2/79 = 2.5%$
$$ \mathrm{MAPE} = \frac{10.0 + 20.0 + 400.0 + 2.5}{4} = 108.1\% $$$$ \mathrm{sMAPE} = \frac{10.5 + 18.2 + 133.3 + 2.5}{4} = 41.1\% $$

3 行目のように実測値が小さい($y=2$)場合、MAPE は 400% に跳ね上がりますが、sMAPE は 133% に抑えられます。MAPE では 1 つの外れ値が全体平均を支配してしまう一方、sMAPE はより安定した評価を提供します。

需要予測で sMAPE が好まれる理由 #

理由は 3 つあります。第一に、ゼロ需要への耐性です。小売や物流では需要ゼロの SKU が頻出し、MAPE はゼロ除算で破綻しますが、sMAPE は予測値が正であれば計算できます。第二に、過大予測と過小予測の対称性です。MAPE は「実測 100 → 予測 50」で 50%、「実測 50 → 予測 100」で 100% と異なる値を返しますが、sMAPE はどちらも 66.7% と対称に評価します。第三に、M3・M4 コンペティションで公式指標として採用され、需要予測分野のベンチマークとして定着しているため、他の研究や手法と数値を比べやすいことです。


MAPE・sMAPE・WAPE 比較表 #

需要予測の文脈で頻出する 3 つの割合誤差指標を整理します。

指標分母範囲ゼロ耐性主な用途
MAPE実測値 $y_i$0〜∞✗(ゼロで発散)一般的な割合誤差、ビジネス報告
sMAPE$(y_i + \hat{y}_i)/2$0〜200%△(両方ゼロで不定)対称的な割合誤差、予測コンペ
WAPE$\sum y_i$(総量)0〜∞✓(個別ゼロに強い)需要予測、在庫管理

ビジネス報告で「平均何 % 外した」を伝えたいなら MAPE ですが、実測値 0 の行を除く処理が必須です。予測コンペに出す、または過大・過小予測の対称性を重視するなら sMAPE を選びます。SKU 単位の需要予測でゼロ需要が多いなら、分母を総量にした WAPE が安定します。


使用時の注意点 #

まず、ゼロや負の値です。MAPE は実測値 0 で発散し、負の値では「% 外れ」の意味が変わるので、ゼロ除けか sMAPE の利用を検討します。次に、平均の偏りです。大きな実測値より小さな実測値の誤差が重くなるため、売上 1000 の誤差 10(1%)より売上 10 の誤差 5(50%)のほうが 50 倍大きく影響します。外れ値については、割合指標なので誤差 100 のような絶対値の外れ値には強いものの、実測値が 2 のような小さい行を除かないと破綻します。最後に解釈の面で、ビジネスでは「平均で 6.6% 外した」と伝えやすい一方、それが何円の損失かという金額換算はできない点に注意します。


他指標との併用 #

MAE / RMSE を併用して、% だけでなく「何個・何円外れたか」という実際のダメージ量を把握します。過小予測を重視したいときは対数誤差を取る RMSLE、需要予測でリスクバッファを設けるなら上限・下限の目標値も合わせて評価できる分位点損失(Pinball Loss)を組み合わせます。


ノイズと MAPE #

ノイズ量を 0 から 3.0 まで増やすと MAPE がどう変化するか確認できます。実測値が 0 に近い点が含まれると、同じノイズでも MAPE だけが跳ねる様子が見えます。

まとめ #

MAPE は誤差を実測値で割って「平均何 % 外したか」にする指標で、4 件の例なら 6.56% とビジネス側に伝えやすい反面、実測値 2 のデータが 1 件あるだけで 400% の寄与が平均を 108.1% まで押し上げ、実測値 0 では計算できません。sMAPE は分母を実測値と予測値の平均に替えて同じ例を 41.1% に抑え、値域も 0〜200% に収まるため、M4 のような需要予測コンテストの標準指標になっています。mean_absolute_percentage_error は比率で返すので 100 を掛け、sMAPE は np.maximum(denominator, 1e-8) 付きで自作します。どちらも金額換算はできないので、MAE・RMSE と並べて絶対的なダメージ量も確認します。


  • RMSPE — 二乗ベースの割合誤差
  • WAPE — 加重平均による割合誤差
  • MAE・RMSE — 絶対誤差ベースの指標