Metriche di accuratezza delle previsioni: MAPE, sMAPE e MASE

Le metriche di accuratezza delle previsioni trasformano gli errori di previsione in riepiloghi, ma ciascuno enfatizza proprietà diverse. L'errore medio assoluto calcola la media degli errori assoluti nelle unità del target. MAPE calcola la media dell'errore assoluto diviso per il valore effettivo assoluto, spesso moltiplicato per 100. È facile da leggere come percentuale, ma è indefinito quando i valori effettivi sono zero e può essere dominato da valori effettivi piccoli. Inoltre, in alcune impostazioni, tratta gli errori di sovra e sotto previsione in modo asimmetrico perché i valori effettivi compaiono solo al denominatore. sMAPE tenta una percentuale simmetrica ridimensionando l'errore assoluto rispetto alle grandezze effettive e previste. Esistono diverse formule, alcune utilizzano un fattore due e altre no, e i casi zero su zero richiedono convenzioni. Nonostante il nome, sMAPE può comportarsi in modo inaspettato intorno allo zero e non garantisce confronti equi su tutte le scale. Indicare sempre l'implementazione esatta. L'errore medio assoluto in scala (MASE) divide il MAE del set di test di un modello per il MAE nel campione di una previsione ingenua, in genere la previsione di persistenza in un unico passaggio per dati non stagionali. Per i dati stagionali, un denominatore naive stagionale potrebbe essere più appropriato. Un MASE inferiore a uno significa che l'errore assoluto medio del modello sui casi di valutazione è inferiore alla scala naive nel campione scelta. Ciò non significa che il modello batte sempre la linea di base in ogni osservazione e che il denominatore può essere zero per dati di addestramento perfettamente costanti. Utilizzare un periodo di valutazione che rifletta l'orizzonte previsionale previsto, preservare l'ordine temporale e confrontare modelli su casi identici. Riporta le definizioni delle metriche, le unità, il trattamento degli zeri, i pesi di aggregazione e la linea di base. Se si combinano molte serie, gli errori percentuali di media possono conferire alle serie di piccoli volumi un'influenza sproporzionata. Abbina una metrica principale alle distribuzioni degli errori e ai costi aziendali, come l'esaurimento delle scorte rispetto alle scorte in eccesso. Nessun singolo parametro cattura contemporaneamente la calibrazione degli intervalli di previsione, la distorsione, il rischio di coda e l’impatto operativo.