Technický PRŮVODCE

Metriky přesnosti předpovědi: MAPE, sMAPE a MASE

Metriky prognóz shrnují, jak se předpovědi liší od pozorovaných hodnot, ale MAPE, sMAPE a MASE zacházejí s hodnotami měřítka a nuly odlišně.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce3 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost metrik přesnosti předpovědi: MAPE, sMAPE a MASE
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Vyberte si metriku, která odpovídá rozhodnutí, porovnejte prognózy ve stejných vyhodnocovacích oknech a zahrňte naivní základní linii spíše než se spoléhat pouze na procentuální skóre.

Hluboký ponor

Metriky přesnosti předpovědi mění chyby predikce na souhrny, ale každá zdůrazňuje jiné vlastnosti. Střední absolutní chyba průměruje absolutní chyby v jednotkách cíle. MAPE zprůměruje absolutní chybu dělenou absolutní skutečnou hodnotou, často násobenou 100. Lze ji snadno číst v procentech, ale není definována, pokud jsou skutečné hodnoty nulové a mohou být ovládány malými skutečnými hodnotami. V některých nastaveních také asymetricky zachází s chybami nadměrné a nedostatečné prognózy, protože skutečné hodnoty se objevují pouze ve jmenovateli. sMAPE se pokouší o symetrické procento škálováním absolutní chyby vzhledem k velikosti skutečné a předpovědi. Existuje několik vzorců, některé používají faktor dva a jiné ne, a případy nula nad nulou vyžadují konvence. Navzdory svému názvu se sMAPE může chovat neočekávaně kolem nuly a nezaručuje spravedlivé srovnání napříč všemi stupnicemi. Vždy uveďte přesné provedení. Střední absolutní škálovaná chyba (MASE) dělí MAE testované sady modelu MAE naivní předpovědi ve vzorku, typicky jednokrokové předpovědi perzistence pro nesezónní data. Pro sezónní údaje může být vhodnější sezónně naivní jmenovatel. MASE nižší než jedna znamená, že průměrná absolutní chyba modelu v případech hodnocení je nižší než zvolená naivní škála ve vzorku. Neznamená to, že model vždy překonává základní linii při každém pozorování a jmenovatel může být nula pro dokonale konstantní tréninková data. Použijte období hodnocení, které odráží zamýšlený horizont prognózy, zachovejte časové pořadí a porovnejte modely na identických případech. Definice metrik sestav, jednotky, zacházení s nulami, agregační váhy a základní linie. Pokud je kombinováno mnoho sérií, průměrování procentuálních chyb může mít neúměrný vliv na série s malým objemem. Spárujte hlavní metriku s distribucí chyb a obchodními náklady, jako jsou zásoby versus přezásobení. Žádná jednotlivá metrika nezachycuje kalibraci předpovědních intervalů, vychýlení, koncového rizika a provozního dopadu najednou.

Real-World Implementace

Hypotetická předpověď předpovídá 90 jednotek, když je skutečná poptávka 100. Absolutní procentuální chyba je 10 %, s použitím absolutní chyby dělené skutečnou hodnotou.

Když je skutečná poptávka nulová, jmenovatel MAPE je nula a procentuální chyba není definována; nahrazení nuly malou konstantou změní metriku a mělo by být zveřejněno.

Analytik používá MASE a vyděluje MAE testovací sady jednokrokovým naivním MAE ve vzorku. Hodnota nižší než jedna znamená nižší chybu než naivní škála na hodnocených případech, nezaručenou budoucí převahu.

Před publikováním výsledků tým porovná implementační vzorce sMAPE, protože definice se liší ve jmenovateli a měřítku; hodnoty z různých konvencí nemusí být srovnatelné.

Budoucnost metrik přesnosti předpovědi: MAPE, sMAPE a MASE

Panely prognóz mohou být poctivější tím, že vedle každého výsledku umístí metrický vzorec, horizont hodnocení, nulovou manipulaci a naivní základní linii. Týmy by měly při porovnávání produktů nebo regionů vykazovat chybu v jednotkách závislou na měřítku a také měření bez měřítka. Jak se mění vzorce poptávky, přepočítejte základní linii pouze pomocí informací dostupných u každého původu prognózy. Náklady vážené rozhodnutím mohou doplňovat statistické metriky, pokud mají nadměrné a nedostatečné prognózy různé důsledky. Jasné volby metrik usnadňují porovnávání modelů, aniž by to znamenalo, že jedno procento zachycuje každý aspekt kvality prognózy.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Forecast Accuracy Metrics: MAPE, sMAPE and MASE quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to metrika přesnosti prognózy: MAPE, sMAPE a MASE?

Metriky prognóz shrnují, jak se předpovědi liší od pozorovaných hodnot, ale MAPE, sMAPE a MASE zacházejí s hodnotami měřítka a nuly odlišně. Vyberte si metriku, která odpovídá rozhodnutí, porovnejte prognózy ve stejných vyhodnocovacích oknech a zahrňte naivní základní linii spíše než se spoléhat pouze na procentuální skóre.

Skutečná poptávka je 100 a prognóza je 90. Jaká je absolutní procentuální chyba podle MAPE?

Absolutní chyba je 10, děleno skutečnými 100, což dává 0,10 nebo 10 %.

Jaký problém nastává pro MAPE, když je skutečná hodnota nula?

MAPE dělí skutečnou velikostí, takže nulová skutečná hodnota činí procento nedefinovaným.

Co znamená MASE pod jednou svou obvyklou definicí?

MASE porovnává testovací MAE s vybranou naivní škálou ve vzorku; nižší než jedna znamená nižší průměrnou chybu než tato stupnice.

Proč ve zprávě uvádět přesný vzorec sMAPE?

Různé varianty sMAPE a volby manipulace s nulou mohou produkovat nesrovnatelné hodnoty.

Proč může MAPE příliš zdůrazňovat nízkoobjemová pozorování?

Dělení malou skutečnou hodnotou vede ze stejné absolutní chyby k většímu procentuálnímu příspěvku.