ДалееСледующее руководство
Показатели качества изображения PSNR и SSIM
Технический
Техническое РУКОВОДСТВО
Метрики прогноза суммируют, чем прогнозы отличаются от наблюдаемых значений, но MAPE, sMAPE и MASE по-разному обрабатывают масштаб и нулевые значения.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Выберите показатель, соответствующий принятому решению, сравните прогнозы в одних и тех же окнах оценки и включите простой базовый показатель, а не полагайтесь только на процентный показатель.
Метрики точности прогнозов превращают ошибки прогнозов в сводные данные, но каждый из них подчеркивает разные свойства. Средняя абсолютная ошибка усредняет абсолютные ошибки в целевых единицах. MAPE усредняет абсолютную ошибку, разделенную на абсолютное фактическое значение, часто умноженное на 100. Его легко прочитать в процентах, но оно не определено, когда фактические значения равны нулю, и в нем могут преобладать небольшие фактические значения. В некоторых настройках он также обрабатывает ошибки завышения и недооценки прогноза асимметрично, поскольку фактические значения появляются только в знаменателе. sMAPE пытается получить симметричный процент, масштабируя абсолютную ошибку относительно фактических и прогнозируемых величин. Существует несколько формул: в некоторых используется коэффициент два, а в других нет, а случаи нуля больше нуля требуют соглашений. Несмотря на свое название, sMAPE может неожиданно вести себя около нуля и не гарантирует честного сравнения во всех масштабах. Всегда указывайте точную реализацию. Средняя абсолютная масштабированная ошибка (MASE) делит MAE тестового набора модели на MAE в выборке наивного прогноза, обычно одношагового прогноза устойчивости для несезонных данных. Для сезонных данных более подходящим может оказаться знаменатель, учитывающий сезонность. MASE ниже единицы означает, что средняя абсолютная ошибка модели в случаях оценки ниже, чем выбранная наивная шкала внутри выборки. Это не означает, что модель всегда превосходит базовый уровень при каждом наблюдении, и знаменатель может быть нулевым для совершенно постоянных обучающих данных. Используйте период оценки, который отражает предполагаемый горизонт прогнозирования, сохраняйте временной порядок и сравнивайте модели в идентичных случаях. Определения показателей отчетов, единицы измерения, обработка нулей, веса агрегирования и базовый уровень. Если объединено множество рядов, процентные ошибки усреднения могут привести к непропорциональному влиянию рядов небольшого объема. Сопоставьте основной показатель с распределением ошибок и бизнес-затратами, такими как дефицит или избыток запасов. Ни одна метрика не отражает калибровку интервалов прогнозирования, смещение, хвостовой риск и операционное воздействие одновременно.
Гипотетический прогноз прогнозирует 90 единиц товара, когда фактический спрос равен 100. Абсолютная процентная ошибка составляет 10 % при делении абсолютной ошибки на фактическое значение.
Когда фактический спрос равен нулю, знаменатель MAPE равен нулю, а процентная ошибка не определена; замена нуля небольшой константой меняет метрику и должна быть раскрыта.
Аналитик использует MASE и делит MAE тестового набора на одноэтапное наивное MAE внутри выборки. Значение ниже единицы означает меньшую ошибку, чем эта наивная шкала для оцениваемых случаев, но не гарантирует будущего превосходства.
Команда сравнивает формулы реализации sMAPE перед публикацией результатов, поскольку определения различаются знаменателем и масштабированием; значения из разных конвенций могут быть несопоставимы.
Панели прогнозов могут быть более честными, если рядом с каждым результатом размещать формулу показателей, горизонт оценки, нулевую обработку и простой базовый уровень. При сравнении продуктов или регионов команды должны показывать зависящую от масштаба ошибку в единицах, а также безмасштабные показатели. По мере изменения структуры спроса пересчитайте базовый уровень, используя только информацию, доступную в каждом источнике прогноза. Затраты, взвешенные по решениям, могут дополнять статистические показатели, когда завышение и занижение прогнозов имеют разные последствия. Четкий выбор показателей упрощает сравнение моделей, не подразумевая, что одно процентное число отражает каждый аспект качества прогноза.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Метрики прогноза суммируют, чем прогнозы отличаются от наблюдаемых значений, но MAPE, sMAPE и MASE по-разному обрабатывают масштаб и нулевые значения. Выберите показатель, соответствующий принятому решению, сравните прогнозы в одних и тех же окнах оценки и включите простой базовый показатель, а не полагайтесь только на процентный показатель.
Абсолютная ошибка равна 10, разделенной на фактические 100, что дает 0,10 или 10%.
MAPE делится на фактическую величину, поэтому фактическое значение, равное нулю, делает процент неопределенным.
MASE сравнивает тестовое MAE с выбранной наивной шкалой внутри выборки; ниже единицы указывает на более низкую среднюю ошибку, чем эта шкала.
Различные варианты sMAPE и варианты обработки нулей могут давать несопоставимые значения.
Деление на небольшое фактическое значение приводит к тому, что та же абсолютная ошибка дает больший процентный вклад.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Показатели качества изображения PSNR и SSIM
Технический