予測精度メトリクス: MAPE、sMAPE、MASE

予測精度メトリクスは予測誤差を要約に変換しますが、それぞれが異なる特性を強調します。平均絶対誤差は、ターゲットの単位で絶対誤差を平均します。 MAPE は、絶対誤差を実際の絶対値で割った値を平均し、多くの場合 100 を掛けます。パーセンテージとして読み取るのは簡単ですが、実際の値がゼロの場合は未定義であり、小さな実際値によって支配される可能性があります。また、実績値は分母にのみ表示されるため、一部の設定では予測超過エラーと予測未満エラーが非対称に処理されます。 sMAPE は、実際と予測の大きさに対して絶対誤差をスケーリングすることにより、対称的なパーセンテージを試行します。いくつかの式が存在し、係数 2 を使用するものと使用しないものがあります。ゼロオーバーゼロの場合には規則が必要です。その名前にもかかわらず、sMAPE はゼロ付近で予期せぬ動作をする可能性があり、すべてのスケールにわたって公平な比較が保証されるわけではありません。常に正確な実装を記載してください。平均絶対スケール誤差 (MASE) は、モデルのテストセット MAE を単純予測 (通常は非季節データの 1 ステップ持続予測) のサンプル内 MAE で割ります。季節データの場合は、季節にナイーブな分母の方が適切な場合があります。 MASE が 1 より小さい場合は、評価ケースにおけるモデルの平均絶対誤差が、選択された単純なサンプル内スケールよりも低いことを意味します。これは、モデルがすべての観測値で常にベースラインを上回るという意味ではなく、完全に一定のトレーニング データの場合は分母がゼロになる可能性があります。意図した予測期間を反映する評価期間を使用し、時間順序を保持して、同一のケースでモデルを比較します。メトリックの定義、単位、ゼロの処理、集計の重み、ベースラインをレポートします。多くのシリーズが結合されている場合、平均パーセンテージ誤差により、微量シリーズに不均衡な影響が与えられる可能性があります。ヘッドラインメトリクスを、在庫切れと過剰在庫などのエラー分布およびビジネスコストと組み合わせます。予測間隔、バイアス、テールリスク、運用への影響を一度に調整できる単一の指標はありません。