DalšíDalší průvodce
Měření kvality obrazu PSNR a SSIM
Technický
Technický PRŮVODCE
Metriky prognóz shrnují, jak se předpovědi liší od pozorovaných hodnot, ale MAPE, sMAPE a MASE zacházejí s hodnotami měřítka a nuly odlišně.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Vyberte si metriku, která odpovídá rozhodnutí, porovnejte prognózy ve stejných vyhodnocovacích oknech a zahrňte naivní základní linii spíše než se spoléhat pouze na procentuální skóre.
Metriky přesnosti předpovědi mění chyby predikce na souhrny, ale každá zdůrazňuje jiné vlastnosti. Střední absolutní chyba průměruje absolutní chyby v jednotkách cíle. MAPE zprůměruje absolutní chybu dělenou absolutní skutečnou hodnotou, často násobenou 100. Lze ji snadno číst v procentech, ale není definována, pokud jsou skutečné hodnoty nulové a mohou být ovládány malými skutečnými hodnotami. V některých nastaveních také asymetricky zachází s chybami nadměrné a nedostatečné prognózy, protože skutečné hodnoty se objevují pouze ve jmenovateli. sMAPE se pokouší o symetrické procento škálováním absolutní chyby vzhledem k velikosti skutečné a předpovědi. Existuje několik vzorců, některé používají faktor dva a jiné ne, a případy nula nad nulou vyžadují konvence. Navzdory svému názvu se sMAPE může chovat neočekávaně kolem nuly a nezaručuje spravedlivé srovnání napříč všemi stupnicemi. Vždy uveďte přesné provedení. Střední absolutní škálovaná chyba (MASE) dělí MAE testované sady modelu MAE naivní předpovědi ve vzorku, typicky jednokrokové předpovědi perzistence pro nesezónní data. Pro sezónní údaje může být vhodnější sezónně naivní jmenovatel. MASE nižší než jedna znamená, že průměrná absolutní chyba modelu v případech hodnocení je nižší než zvolená naivní škála ve vzorku. Neznamená to, že model vždy překonává základní linii při každém pozorování a jmenovatel může být nula pro dokonale konstantní tréninková data. Použijte období hodnocení, které odráží zamýšlený horizont prognózy, zachovejte časové pořadí a porovnejte modely na identických případech. Definice metrik sestav, jednotky, zacházení s nulami, agregační váhy a základní linie. Pokud je kombinováno mnoho sérií, průměrování procentuálních chyb může mít neúměrný vliv na série s malým objemem. Spárujte hlavní metriku s distribucí chyb a obchodními náklady, jako jsou zásoby versus přezásobení. Žádná jednotlivá metrika nezachycuje kalibraci předpovědních intervalů, vychýlení, koncového rizika a provozního dopadu najednou.
Hypotetická předpověď předpovídá 90 jednotek, když je skutečná poptávka 100. Absolutní procentuální chyba je 10 %, s použitím absolutní chyby dělené skutečnou hodnotou.
Když je skutečná poptávka nulová, jmenovatel MAPE je nula a procentuální chyba není definována; nahrazení nuly malou konstantou změní metriku a mělo by být zveřejněno.
Analytik používá MASE a vyděluje MAE testovací sady jednokrokovým naivním MAE ve vzorku. Hodnota nižší než jedna znamená nižší chybu než naivní škála na hodnocených případech, nezaručenou budoucí převahu.
Před publikováním výsledků tým porovná implementační vzorce sMAPE, protože definice se liší ve jmenovateli a měřítku; hodnoty z různých konvencí nemusí být srovnatelné.
Panely prognóz mohou být poctivější tím, že vedle každého výsledku umístí metrický vzorec, horizont hodnocení, nulovou manipulaci a naivní základní linii. Týmy by měly při porovnávání produktů nebo regionů vykazovat chybu v jednotkách závislou na měřítku a také měření bez měřítka. Jak se mění vzorce poptávky, přepočítejte základní linii pouze pomocí informací dostupných u každého původu prognózy. Náklady vážené rozhodnutím mohou doplňovat statistické metriky, pokud mají nadměrné a nedostatečné prognózy různé důsledky. Jasné volby metrik usnadňují porovnávání modelů, aniž by to znamenalo, že jedno procento zachycuje každý aspekt kvality prognózy.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Metriky prognóz shrnují, jak se předpovědi liší od pozorovaných hodnot, ale MAPE, sMAPE a MASE zacházejí s hodnotami měřítka a nuly odlišně. Vyberte si metriku, která odpovídá rozhodnutí, porovnejte prognózy ve stejných vyhodnocovacích oknech a zahrňte naivní základní linii spíše než se spoléhat pouze na procentuální skóre.
Absolutní chyba je 10, děleno skutečnými 100, což dává 0,10 nebo 10 %.
MAPE dělí skutečnou velikostí, takže nulová skutečná hodnota činí procento nedefinovaným.
MASE porovnává testovací MAE s vybranou naivní škálou ve vzorku; nižší než jedna znamená nižší průměrnou chybu než tato stupnice.
Různé varianty sMAPE a volby manipulace s nulou mohou produkovat nesrovnatelné hodnoty.
Dělení malou skutečnou hodnotou vede ze stejné absolutní chyby k většímu procentuálnímu příspěvku.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Měření kvality obrazu PSNR a SSIM
Technický