Il prossimoProssima guida
Metriche della qualità dell'immagine PSNR e SSIM
Tecnico
GUIDA TECNICA
Le metriche di previsione riassumono il modo in cui le previsioni differiscono dai valori osservati, ma MAPE, sMAPE e MASE gestiscono la scala e i valori zero in modo diverso.
Ascolta questa guidaNarrato dall'IA · ~3 min
Scegli una metrica che corrisponda alla decisione, confronta le previsioni sulle stesse finestre di valutazione e includi una linea di base ingenua anziché fare affidamento solo su un punteggio percentuale.
Le metriche di accuratezza delle previsioni trasformano gli errori di previsione in riepiloghi, ma ciascuno enfatizza proprietà diverse. L'errore medio assoluto calcola la media degli errori assoluti nelle unità del target. MAPE calcola la media dell'errore assoluto diviso per il valore effettivo assoluto, spesso moltiplicato per 100. È facile da leggere come percentuale, ma è indefinito quando i valori effettivi sono zero e può essere dominato da valori effettivi piccoli. Inoltre, in alcune impostazioni, tratta gli errori di sovra e sotto previsione in modo asimmetrico perché i valori effettivi compaiono solo al denominatore. sMAPE tenta una percentuale simmetrica ridimensionando l'errore assoluto rispetto alle grandezze effettive e previste. Esistono diverse formule, alcune utilizzano un fattore due e altre no, e i casi zero su zero richiedono convenzioni. Nonostante il nome, sMAPE può comportarsi in modo inaspettato intorno allo zero e non garantisce confronti equi su tutte le scale. Indicare sempre l'implementazione esatta. L'errore medio assoluto in scala (MASE) divide il MAE del set di test di un modello per il MAE nel campione di una previsione ingenua, in genere la previsione di persistenza in un unico passaggio per dati non stagionali. Per i dati stagionali, un denominatore naive stagionale potrebbe essere più appropriato. Un MASE inferiore a uno significa che l'errore assoluto medio del modello sui casi di valutazione è inferiore alla scala naive nel campione scelta. Ciò non significa che il modello batte sempre la linea di base in ogni osservazione e che il denominatore può essere zero per dati di addestramento perfettamente costanti. Utilizzare un periodo di valutazione che rifletta l'orizzonte previsionale previsto, preservare l'ordine temporale e confrontare modelli su casi identici. Riporta le definizioni delle metriche, le unità, il trattamento degli zeri, i pesi di aggregazione e la linea di base. Se si combinano molte serie, gli errori percentuali di media possono conferire alle serie di piccoli volumi un'influenza sproporzionata. Abbina una metrica principale alle distribuzioni degli errori e ai costi aziendali, come l'esaurimento delle scorte rispetto alle scorte in eccesso. Nessun singolo parametro cattura contemporaneamente la calibrazione degli intervalli di previsione, la distorsione, il rischio di coda e l’impatto operativo.
Una previsione ipotetica prevede 90 unità quando la domanda effettiva è 100. L'errore percentuale assoluto è del 10%, utilizzando l'errore assoluto diviso per il valore effettivo.
Quando la domanda effettiva è zero, il denominatore di MAPE è zero e l'errore percentuale non è definito; la sostituzione dello zero con una costante piccola modifica la metrica e deve essere divulgata.
Un analista utilizza MASE e divide il MAE del set di test per il MAE ingenuo in un solo passaggio nel campione. Un valore inferiore a uno significa un errore inferiore rispetto a quella scala ingenua sui casi valutati, senza garanzia di superiorità futura.
Un team confronta le formule di implementazione di sMAPE prima di pubblicare i risultati perché le definizioni differiscono per denominatore e scala; i valori di diverse convenzioni potrebbero non essere comparabili.
I dashboard delle previsioni possono essere più onesti inserendo la formula metrica, l'orizzonte di valutazione, la gestione dello zero e la linea di base ingenua accanto a ciascun risultato. I team dovrebbero mostrare errori dipendenti dalla scala in unità nonché misure senza scala quando si confrontano prodotti o regioni. Man mano che i modelli della domanda cambiano, ricalcola la linea di base utilizzando solo le informazioni disponibili in ciascuna origine della previsione. I costi ponderati per la decisione possono integrare i parametri statistici quando una previsione eccessiva o insufficiente ha conseguenze diverse. Scelte metriche chiare semplificano il confronto dei modelli senza implicare che un numero percentuale copra ogni aspetto della qualità delle previsioni.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Le metriche di previsione riassumono il modo in cui le previsioni differiscono dai valori osservati, ma MAPE, sMAPE e MASE gestiscono la scala e i valori zero in modo diverso. Scegli una metrica che corrisponda alla decisione, confronta le previsioni sulle stesse finestre di valutazione e includi una linea di base ingenua anziché fare affidamento solo su un punteggio percentuale.
L'errore assoluto è 10, diviso per 100 effettivo, ottenendo 0,10 o 10%.
MAPE divide per la magnitudo effettiva, quindi uno zero effettivo rende la percentuale indefinita.
MASE confronta il MAE del test con una scala ingenua scelta nel campione; sotto uno indica un errore medio inferiore rispetto a quella scala.
Diverse varianti sMAPE e scelte di gestione zero possono produrre valori non comparabili.
Dividendo per un valore effettivo piccolo, lo stesso errore assoluto fornisce un contributo percentuale maggiore.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metriche della qualità dell'immagine PSNR e SSIM
Tecnico