Техническое РУКОВОДСТВО

Показатели точности прогноза: MAPE, sMAPE и MASE

Метрики прогноза суммируют, чем прогнозы отличаются от наблюдаемых значений, но MAPE, sMAPE и MASE по-разному обрабатывают масштаб и нулевые значения.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее показателей точности прогнозов: MAPE, sMAPE и MASE
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Выберите показатель, соответствующий принятому решению, сравните прогнозы в одних и тех же окнах оценки и включите простой базовый показатель, а не полагайтесь только на процентный показатель.

Глубокое погружение

Метрики точности прогнозов превращают ошибки прогнозов в сводные данные, но каждый из них подчеркивает разные свойства. Средняя абсолютная ошибка усредняет абсолютные ошибки в целевых единицах. MAPE усредняет абсолютную ошибку, разделенную на абсолютное фактическое значение, часто умноженное на 100. Его легко прочитать в процентах, но оно не определено, когда фактические значения равны нулю, и в нем могут преобладать небольшие фактические значения. В некоторых настройках он также обрабатывает ошибки завышения и недооценки прогноза асимметрично, поскольку фактические значения появляются только в знаменателе. sMAPE пытается получить симметричный процент, масштабируя абсолютную ошибку относительно фактических и прогнозируемых величин. Существует несколько формул: в некоторых используется коэффициент два, а в других нет, а случаи нуля больше нуля требуют соглашений. Несмотря на свое название, sMAPE может неожиданно вести себя около нуля и не гарантирует честного сравнения во всех масштабах. Всегда указывайте точную реализацию. Средняя абсолютная масштабированная ошибка (MASE) делит MAE тестового набора модели на MAE в выборке наивного прогноза, обычно одношагового прогноза устойчивости для несезонных данных. Для сезонных данных более подходящим может оказаться знаменатель, учитывающий сезонность. MASE ниже единицы означает, что средняя абсолютная ошибка модели в случаях оценки ниже, чем выбранная наивная шкала внутри выборки. Это не означает, что модель всегда превосходит базовый уровень при каждом наблюдении, и знаменатель может быть нулевым для совершенно постоянных обучающих данных. Используйте период оценки, который отражает предполагаемый горизонт прогнозирования, сохраняйте временной порядок и сравнивайте модели в идентичных случаях. Определения показателей отчетов, единицы измерения, обработка нулей, веса агрегирования и базовый уровень. Если объединено множество рядов, процентные ошибки усреднения могут привести к непропорциональному влиянию рядов небольшого объема. Сопоставьте основной показатель с распределением ошибок и бизнес-затратами, такими как дефицит или избыток запасов. Ни одна метрика не отражает калибровку интервалов прогнозирования, смещение, хвостовой риск и операционное воздействие одновременно.

Реальная реализация

Гипотетический прогноз прогнозирует 90 единиц товара, когда фактический спрос равен 100. Абсолютная процентная ошибка составляет 10 % при делении абсолютной ошибки на фактическое значение.

Когда фактический спрос равен нулю, знаменатель MAPE равен нулю, а процентная ошибка не определена; замена нуля небольшой константой меняет метрику и должна быть раскрыта.

Аналитик использует MASE и делит MAE тестового набора на одноэтапное наивное MAE внутри выборки. Значение ниже единицы означает меньшую ошибку, чем эта наивная шкала для оцениваемых случаев, но не гарантирует будущего превосходства.

Команда сравнивает формулы реализации sMAPE перед публикацией результатов, поскольку определения различаются знаменателем и масштабированием; значения из разных конвенций могут быть несопоставимы.

Будущее показателей точности прогнозов: MAPE, sMAPE и MASE

Панели прогнозов могут быть более честными, если рядом с каждым результатом размещать формулу показателей, горизонт оценки, нулевую обработку и простой базовый уровень. При сравнении продуктов или регионов команды должны показывать зависящую от масштаба ошибку в единицах, а также безмасштабные показатели. По мере изменения структуры спроса пересчитайте базовый уровень, используя только информацию, доступную в каждом источнике прогноза. Затраты, взвешенные по решениям, могут дополнять статистические показатели, когда завышение и занижение прогнозов имеют разные последствия. Четкий выбор показателей упрощает сравнение моделей, не подразумевая, что одно процентное число отражает каждый аспект качества прогноза.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Forecast Accuracy Metrics: MAPE, sMAPE and MASE quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое показатели точности прогноза: MAPE, sMAPE и MASE?

Метрики прогноза суммируют, чем прогнозы отличаются от наблюдаемых значений, но MAPE, sMAPE и MASE по-разному обрабатывают масштаб и нулевые значения. Выберите показатель, соответствующий принятому решению, сравните прогнозы в одних и тех же окнах оценки и включите простой базовый показатель, а не полагайтесь только на процентный показатель.

Фактический спрос равен 100, а прогноз — 90. Какова абсолютная процентная ошибка при MAPE?

Абсолютная ошибка равна 10, разделенной на фактические 100, что дает 0,10 или 10%.

Какая проблема возникает для MAPE, когда фактическое значение равно нулю?

MAPE делится на фактическую величину, поэтому фактическое значение, равное нулю, делает процент неопределенным.

Что означает MASE ниже единицы в своем обычном определении?

MASE сравнивает тестовое MAE с выбранной наивной шкалой внутри выборки; ниже единицы указывает на более низкую среднюю ошибку, чем эта шкала.

Зачем указывать в отчете точную формулу sMAPE?

Различные варианты sMAPE и варианты обработки нулей могут давать несопоставимые значения.

Почему MAPE может придавать слишком большое значение наблюдениям небольшого объема?

Деление на небольшое фактическое значение приводит к тому, что та же абсолютная ошибка дает больший процентный вклад.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →