HƯỚNG DẪN KỸ THUẬT

Số liệu dự báo chính xác: MAPE, sMAPE và MASE

Forecast metrics summarize how predictions differ from observed values, but MAPE, sMAPE and MASE handle scale and zero values differently.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. The Future of Forecast Accuracy Metrics: MAPE, sMAPE and MASE
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Choose a metric that matches the decision, compare forecasts on the same evaluation windows and include a naive baseline rather than relying on a percentage score alone.

Lặn sâu

Forecast accuracy metrics turn prediction errors into summaries, but each emphasizes different properties. Mean absolute error averages absolute errors in the target's units. MAPE averages absolute error divided by the absolute actual value, often multiplied by 100. It is easy to read as a percentage, but it is undefined when actual values are zero and can be dominated by small actuals. It also treats over- and under-forecast errors asymmetrically in some settings because actuals appear only in the denominator. sMAPE attempts a symmetric percentage by scaling absolute error relative to the magnitudes of actual and forecast. Several formulas exist, some use a factor of two and others not, and zero-over-zero cases require conventions. Despite its name, sMAPE can behave unexpectedly around zero and does not guarantee fair comparisons across all scales. Always state the exact implementation. Mean absolute scaled error (MASE) divides a model's test-set MAE by the in-sample MAE of a naive forecast, typically the one-step persistence forecast for nonseasonal data. For seasonal data, a seasonal-naive denominator may be more appropriate. A MASE below one means the model's average absolute error on the evaluation cases is lower than the chosen naive in-sample scale. It does not mean the model always beats the baseline on every observation, and the denominator can be zero for perfectly constant training data. Use an evaluation period that reflects the intended forecast horizon, preserve time order and compare models on identical cases. Report metric definitions, units, treatment of zeros, aggregation weights and baseline. If many series are combined, averaging percentage errors may give tiny-volume series disproportionate influence. Pair a headline metric with error distributions and business costs, such as stockouts versus overstock. No single metric captures calibration of prediction intervals, bias, tail risk and operational impact at once.

Triển khai trong thế giới thực

A hypothetical forecast predicts 90 units when actual demand is 100. The absolute percentage error is 10%, using absolute error divided by the actual value.

When actual demand is zero, MAPE's denominator is zero and the percentage error is undefined; replacing zero with a small constant changes the metric and should be disclosed.

An analyst uses MASE and divides test-set MAE by the in-sample one-step naive MAE. A value below one means lower error than that naive scale on the evaluated cases, not guaranteed future superiority.

A team compares sMAPE implementation formulas before publishing results because definitions differ in denominator and scaling; values from different conventions may not be comparable.

The Future of Forecast Accuracy Metrics: MAPE, sMAPE and MASE

Forecast dashboards can be more honest by placing the metric formula, evaluation horizon, zero handling and naive baseline beside each result. Teams should show scale-dependent error in units as well as scale-free measures when comparing products or regions. As demand patterns shift, recompute the baseline using only information available at each forecast origin. Decision-weighted costs can complement statistical metrics when over- and under-forecasting have different consequences. Clear metric choices make it easier to compare models without implying that one percentage number captures every aspect of forecast quality.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Forecast Accuracy Metrics: MAPE, sMAPE and MASE quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

What is Forecast Accuracy Metrics: MAPE, sMAPE and MASE?

Forecast metrics summarize how predictions differ from observed values, but MAPE, sMAPE and MASE handle scale and zero values differently. Choose a metric that matches the decision, compare forecasts on the same evaluation windows and include a naive baseline rather than relying on a percentage score alone.

Nhu cầu thực tế là 100 và dự báo là 90. Sai số phần trăm tuyệt đối trong MAPE là bao nhiêu?

Sai số tuyệt đối là 10, chia cho 100 thực tế, cho kết quả 0,10 hoặc 10%.

Vấn đề gì phát sinh đối với MAPE khi giá trị thực tế bằng 0?

MAPE chia cho cường độ thực tế, do đó giá trị thực bằng 0 làm cho tỷ lệ phần trăm không được xác định.

MASE bên dưới biểu thị điều gì theo định nghĩa thông thường của nó?

MASE so sánh MAE thử nghiệm với thang đo trong mẫu chưa được chọn; dưới một cho biết sai số trung bình thấp hơn thang đo đó.

Tại sao nêu công thức sMAPE chính xác trong báo cáo?

Các biến thể sMAPE khác nhau và các lựa chọn xử lý bằng 0 có thể tạo ra các giá trị không thể so sánh được.

Tại sao MAPE có thể nhấn mạnh quá mức các quan sát với khối lượng thấp?

Chia cho một số thực tế nhỏ thì cùng một lỗi tuyệt đối sẽ đóng góp phần trăm lớn hơn.