Il prossimoProssima guida
Punteggio della silhouette e valutazione del cluster
Tecnico
GUIDA TECNICA
Il punteggio Brier misura l'errore in una previsione di probabilità confrontando la probabilità prevista con il risultato che si verifica effettivamente.
Ascolta questa guidaNarrato dall'IA · ~3 min
Ti aiuta a valutare se la fiducia di un sistema di intelligenza artificiale è utile, anche quando due sistemi fanno le stesse previsioni sì o no.
Un modello di classificazione può produrre sia un'etichetta che una probabilità. Un sistema di consegna potrebbe chiamare due pacchi in ritardo assegnando probabilità pari a 0,6 e 0,9. L'accuratezza tratta queste previsioni allo stesso modo dopo che una soglia le converte in etichette. Il punteggio Brier preserva la differenza di confidenza. Per un evento binario, codifica l'occorrenza come 1 e la non occorrenza come 0. Sottrai il risultato dalla probabilità prevista, eleva al quadrato la differenza e calcola la media tra i casi. Nella convenzione binaria comunemente usata, il risultato varia da 0 a 1, con valori più piccoli che indicano un errore di probabilità inferiore. Identificare sempre l'evento previsto: una probabilità di arrivare in ritardo non può essere paragonata ad un'etichetta che significa arrivare in orario. Consideriamo due ipotetici lotti con probabilità di arrivo tardivo pari a 0,8 e 0,3. Il primo è in ritardo e il secondo è puntuale. Le loro perdite sono 0,04 e 0,09, producendo una media di 0,065. Questi sono esempi aritmetici, non i risultati di un prodotto distribuito o di uno studio di ricerca. Il punteggio necessita di un confronto significativo. Un punteggio basso può essere facilmente ottenuto quando l’evento non si verifica quasi mai. Confrontare il modello con una baseline semplice sugli stessi casi di valutazione e riportare il tasso di eventi. Non affermare che un punteggio particolare sia universalmente valido in set di dati non correlati. Ispeziona anche la calibrazione: tra i casi a cui sono state assegnate probabilità simili, quanto spesso si verifica l'evento? Un punteggio Brier più basso da solo non dimostra una calibrazione migliore perché il punteggio premia anche la separazione dei casi con rischi diversi. Scikit-learn documenta sia il punteggio di probabilità che gli strumenti di calibrazione. Insieme a un’adeguata suddivisione della valutazione, aiutano a distinguere la fiducia utile dai numeri che sembrano convincenti.
In un'ipotetica previsione di consegna, un pacco ha una probabilità prevista del 70% di arrivare in ritardo e arriva in ritardo. La sua perdita binaria di Brier è il quadrato di 0,7 meno 1, che è 0,09.
Due previsioni ipotetiche prevedono entrambe una consegna ritardata, utilizzando una soglia decisionale del 50%. Se arriva in tempo, una previsione del 60% subisce una perdita di 0,36, mentre una previsione del 90% subisce una perdita di 0,81.
Un team di supporto confronta il proprio modello di escalation dei ticket con una linea di base che prevede sempre il tasso di escalation misurato nei dati di training. Valuta entrambi sugli stessi ticket successivi.
Un analista utilizza brier_score_loss di scikit-learn per valutare le probabilità e un grafico di calibrazione per verificare quali intervalli di confidenza sono fuorvianti. Questi controlli rispondono a domande correlate ma diverse.
Man mano che sempre più interfacce IA dimostrano fiducia, i team avranno bisogno di una valutazione che controlli cosa significano nella pratica questi numeri. Un utile passaggio successivo consiste nel preservare le previsioni prima che arrivino i risultati e unirle ai risultati successivi utilizzando identificatori stabili. I rapporti dovrebbero mostrare il punteggio Brier insieme a un valore di riferimento, ai controlli di calibrazione e al numero di casi valutati. I team dovrebbero anche esaminare i gruppi e i periodi di tempo rilevanti, poiché una media complessiva può nascondere un peggioramento. Questo flusso di lavoro dipende dalla raccolta di risultati affidabili; la sola visualizzazione di una percentuale di confidenza non dimostra che è stato testato.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il punteggio Brier misura l'errore in una previsione di probabilità confrontando la probabilità prevista con il risultato che si verifica effettivamente. Ti aiuta a valutare se la fiducia di un sistema di intelligenza artificiale è utile, anche quando due sistemi fanno le stesse previsioni sì o no.
L'occorrenza è codificata come 1, quindi la differenza al quadrato è (0,7 meno 1) al quadrato, ovvero 0,09.
Il punteggio calcola la media dei singoli errori quadrati: (0,04 più 0,09) diviso per due fa 0,065.
L'esito positivo e la probabilità prevista devono descrivere lo stesso evento; in caso contrario il calcolo misura le quantità non corrispondenti.
La perdita di brier riflette qualcosa di più della semplice calibrazione. Una migliore risoluzione può ridurre la perdita anche quando la calibrazione non è migliorata.
Una linea di base a tasso costante mostra se il modello migliora rispetto a una previsione semplice con la stessa frequenza di eventi e casi di valutazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Punteggio della silhouette e valutazione del cluster
Tecnico