NastępnyNastępny poradnik
Metryki jakości obrazu PSNR i SSIM
Techniczne
PRZEWODNIK techniczny
Metryki dokładności prognozy: MAPE, sMAPE i MASE
Metryki prognoz podsumowują, w jaki sposób przewidywania różnią się od obserwowanych wartości, ale MAPE, sMAPE i MASE inaczej radzą sobie ze skalą i wartościami zerowymi.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Wybierz miernik pasujący do podjętej decyzji, porównaj prognozy dla tych samych okien oceny i uwzględnij naiwny poziom bazowy, zamiast polegać wyłącznie na wyniku procentowym.
Głębokie nurkowanie
Metryki dokładności prognoz przekształcają błędy przewidywań w podsumowania, ale każdy z nich podkreśla inne właściwości. Średni błąd bezwzględny to średnie błędy bezwzględne w jednostkach celu. MAPE uśrednia błąd bezwzględny podzielony przez bezwzględną wartość rzeczywistą, często pomnożony przez 100. Łatwo jest odczytać go jako wartość procentową, ale jest on nieokreślony, gdy wartości rzeczywiste wynoszą zero i mogą być zdominowane przez małe wartości rzeczywiste. Traktuje także błędy przeszacowania i niedoszacowania w niektórych ustawieniach asymetrycznie, ponieważ wartości rzeczywiste pojawiają się tylko w mianowniku. sMAPE próbuje uzyskać symetryczny procent poprzez skalowanie błędu bezwzględnego w stosunku do wielkości rzeczywistej i prognozowanej. Istnieje kilka formuł, niektóre używają współczynnika dwa, a inne nie, a przypadki zera przez zero wymagają konwencji. Pomimo swojej nazwy, sMAPE może zachowywać się nieoczekiwanie w okolicach zera i nie gwarantuje rzetelnych porównań we wszystkich skalach. Zawsze podawaj dokładną implementację. Średni bezwzględny błąd skalowany (MASE) dzieli MAE zestawu testowego modelu przez MAE w próbie prognozy naiwnej, zazwyczaj jednoetapowej prognozy trwałości dla danych niesezonowych. W przypadku danych sezonowych bardziej odpowiedni może być mianownik naiwny sezonowo. MASE poniżej jeden oznacza, że średni błąd bezwzględny modelu w przypadkach oceny jest niższy niż wybrana naiwna skala w próbie. Nie oznacza to, że model zawsze przewyższa linię bazową przy każdej obserwacji, a mianownik może wynosić zero w przypadku idealnie stałych danych uczących. Użyj okresu oceny, który odzwierciedla zamierzony horyzont prognozy, zachowaj porządek czasowy i porównaj modele w identycznych przypadkach. Raportuj definicje metryk, jednostki, traktowanie zer, wagi agregacji i linię bazową. W przypadku połączenia wielu serii uśrednianie błędów procentowych może dać nieproporcjonalny wpływ serii o małej objętości. Połącz nagłówek z rozkładem błędów i kosztami biznesowymi, takimi jak braki w zapasach czy nadwyżki. Żaden pojedynczy wskaźnik nie rejestruje jednocześnie kalibracji przedziałów przewidywań, błędu systematycznego, ryzyka końcowego i wpływu operacyjnego.
Implementacja w świecie rzeczywistym
Hipotetyczna prognoza przewiduje 90 jednostek, gdy rzeczywiste zapotrzebowanie wynosi 100. Bezwzględny błąd procentowy wynosi 10%, przy użyciu błędu bezwzględnego podzielonego przez wartość rzeczywistą.
Gdy rzeczywisty popyt wynosi zero, mianownik MAPE wynosi zero, a błąd procentowy jest nieokreślony; zastąpienie zera małą stałą zmienia metrykę i powinno zostać ujawnione.
Analityk używa MASE i dzieli MAE zestawu testowego przez jednoetapowy naiwny MAE w próbie. Wartość poniżej jednego oznacza mniejszy błąd niż naiwna skala w ocenianych przypadkach, ale nie gwarantuje przyszłej wyższości.
Zespół porównuje formuły implementacji sMAPE przed opublikowaniem wyników, ponieważ definicje różnią się w mianowniku i skalowaniu; wartości z różnych konwencji mogą nie być porównywalne.
Przyszłość wskaźników dokładności prognoz: MAPE, sMAPE i MASE
Pulpity prognoz mogą być bardziej uczciwe, umieszczając obok każdego wyniku formułę metryczną, horyzont oceny, obsługę zerową i naiwną linię bazową. Podczas porównywania produktów lub regionów zespoły powinny wykazywać błąd zależny od skali w jednostkach, a także miary bezskalowe. W miarę zmiany wzorców popytu należy ponownie obliczyć wartość bazową, korzystając wyłącznie z informacji dostępnych dla każdego źródła prognozy. Koszty ważone decyzjami mogą uzupełniać wskaźniki statystyczne, gdy przeszacowanie i niedoszacowanie ma różne konsekwencje. Jasne wybory wskaźników ułatwiają porównywanie modeli bez sugerowania, że jedna liczba procentowa uwzględnia każdy aspekt jakości prognozy.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Skorzystaj z mierników dokładności prognoz: quiz MAPE, sMAPE i MASE
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są wskaźniki dokładności prognoz: MAPE, sMAPE i MASE?
Metryki prognoz podsumowują, w jaki sposób przewidywania różnią się od obserwowanych wartości, ale MAPE, sMAPE i MASE inaczej radzą sobie ze skalą i wartościami zerowymi. Wybierz miernik pasujący do podjętej decyzji, porównaj prognozy dla tych samych okien oceny i uwzględnij naiwny poziom bazowy, zamiast polegać wyłącznie na wyniku procentowym.
Rzeczywisty popyt wynosi 100, a prognoza 90. Jaki jest bezwzględny błąd procentowy w ramach MAPE?
Błąd bezwzględny wynosi 10, podzielone przez rzeczywiste 100, co daje 0,10 lub 10%.
Jaki problem pojawia się w przypadku MAPE, gdy rzeczywista wartość wynosi zero?
MAPE dzieli przez rzeczywistą wielkość, więc wartość rzeczywista wynosząca zero powoduje, że wartość procentowa jest nieokreślona.
Co oznacza MASE poniżej w swojej zwykłej definicji?
MASE porównuje test MAE z wybraną naiwną skalą w próbie; poniżej jeden oznacza niższy średni błąd niż ta skala.
Po co podawać w raporcie dokładny wzór sMAPE?
Różne warianty sMAPE i opcje obsługi zer mogą dawać nieporównywalne wartości.
Dlaczego MAPE może przesadnie podkreślać obserwacje o małej objętości?
Dzielenie przez małą wartość rzeczywistą powoduje, że ten sam błąd bezwzględny stanowi większy udział procentowy.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat