PANDUAN Teknikal

Metrik Ketepatan Ramalan: MAPE, sMAPE dan MASE

Metrik ramalan meringkaskan cara ramalan berbeza daripada nilai yang diperhatikan, tetapi MAPE, sMAPE dan MASE mengendalikan skala dan nilai sifar secara berbeza.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Metrik Ketepatan Ramalan: MAPE, sMAPE dan MASE
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Pilih metrik yang sepadan dengan keputusan, bandingkan ramalan pada tetingkap penilaian yang sama dan sertakan asas naïve daripada bergantung hanya pada skor peratusan.

Menyelam dalam

Forecast accuracy metrics turn prediction errors into summaries, but each emphasizes different properties. Mean absolute error averages absolute errors in the target's units. MAPE averages absolute error divided by the absolute actual value, often multiplied by 100. It is easy to read as a percentage, but it is undefined when actual values are zero and can be dominated by small actuals. It also treats over- and under-forecast errors asymmetrically in some settings because actuals appear only in the denominator. sMAPE attempts a symmetric percentage by scaling absolute error relative to the magnitudes of actual and forecast. Several formulas exist, some use a factor of two and others not, and zero-over-zero cases require conventions. Despite its name, sMAPE can behave unexpectedly around zero and does not guarantee fair comparisons across all scales. Always state the exact implementation. Mean absolute scaled error (MASE) divides a model's test-set MAE by the in-sample MAE of a naive forecast, typically the one-step persistence forecast for nonseasonal data. For seasonal data, a seasonal-naive denominator may be more appropriate. A MASE below one means the model's average absolute error on the evaluation cases is lower than the chosen naive in-sample scale. It does not mean the model always beats the baseline on every observation, and the denominator can be zero for perfectly constant training data. Use an evaluation period that reflects the intended forecast horizon, preserve time order and compare models on identical cases. Report metric definitions, units, treatment of zeros, aggregation weights and baseline. If many series are combined, averaging percentage errors may give tiny-volume series disproportionate influence. Pair a headline metric with error distributions and business costs, such as stockouts versus overstock. No single metric captures calibration of prediction intervals, bias, tail risk and operational impact at once.

Pelaksanaan Dunia Sebenar

Ramalan hipotesis meramalkan 90 unit apabila permintaan sebenar ialah 100. Ralat peratus mutlak ialah 10%, menggunakan ralat mutlak dibahagi dengan nilai sebenar.

Apabila permintaan sebenar sifar, penyebut MAPE menjadi sifar dan ralat peratus tidak ditakrifkan; menggantikan sifar dengan pemalar kecil mengubah metrik dan harus dinyatakan.

Seorang penganalisis menggunakan MASE dan membahagikan MAE set ujian dengan MAE naïve satu langkah dalam sampel. Nilai di bawah satu bermakna ralat lebih rendah daripada skala naïve itu pada kes yang dinilai, tidak menjamin keunggulan masa depan.

Sebuah pasukan membandingkan formula pelaksanaan sMAPE sebelum menerbitkan hasil kerana definisi berbeza dalam penyebut dan skala; nilai daripada konvensi berbeza mungkin tidak boleh dibandingkan.

Masa Depan Metrik Ketepatan Ramalan: MAPE, sMAPE dan MASE

Papan pemuka ramalan boleh lebih jujur dengan meletakkan formula metrik, horizon penilaian, pengendalian sifar dan asas naïve di sebelah setiap hasil. Pasukan harus menunjukkan ralat bergantung skala dalam unit serta ukuran bebas skala apabila membandingkan produk atau wilayah. Apabila corak permintaan berubah, kira semula asas menggunakan hanya maklumat yang ada pada setiap asal ramalan. Kos berasaskan keputusan boleh melengkapkan metrik statistik apabila over‑ dan under‑forecasting mempunyai akibat yang berbeza. Pilihan metrik yang jelas memudahkan perbandingan model tanpa mengimplikasikan satu nombor peratusan menangkap setiap aspek kualiti ramalan.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Metrik Ketepatan Ramalan: MAPE, sMAPE dan MASE

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Metrik Ketepatan Ramalan: MAPE, sMAPE dan MASE?

Metrik ramalan merangkum bagaimana ramalan berbeza daripada nilai sebenar, tetapi MAPE, sMAPE dan MASE mengendalikan skala dan nilai sifar secara berbeza. Pilih metrik yang sepadan dengan keputusan, bandingkan ramalan pada tetingkap penilaian yang sama dan sertakan asas naïve daripada bergantung hanya pada skor peratusan.

Permintaan sebenar ialah 100 dan ramalan ialah 90. Berapakah ralat peratus mutlak mengikut MAPE?

Ralat mutlak ialah 10, dibahagi dengan sebenar 100, memberi 0.10 atau 10%.

Apakah isu yang timbul untuk MAPE apabila nilai sebenar sifar?

MAPE membahagikan dengan magnitud sebenar, jadi nilai sebenar sifar menjadikan peratus tidak ditakrifkan.

Apakah yang ditunjukkan MASE di bawah satu mengikut definisinya yang biasa?

MASE membandingkan MAE ujian dengan skala naïve dalam sampel; di bawah satu menunjukkan ralat purata lebih rendah daripada skala itu.

Mengapa perlu menyatakan formula sMAPE tepat dalam laporan?

Varian sMAPE yang berbeza dan pilihan pengendalian sifar boleh menghasilkan nilai yang tidak boleh dibandingkan.

Mengapa MAPE boleh memberi penekanan berlebihan pada pemerhatian bervolum rendah?

Membahagi dengan nilai sebenar yang kecil menjadikan ralat mutlak yang sama memberi sumbangan peratus yang lebih besar.