Il prossimoProssima guida
Classificazione multietichetta
Tecnico
GUIDA TECNICA
L'ottimizzazione della soglia di classificazione seleziona il limite del punteggio utilizzato per trasformare l'output di un modello in una decisione di classe.
Ascolta questa guidaNarrato dall'IA · ~3 min
È importante perché diversi limiti modificano l’equilibrio tra falsi positivi e falsi negativi, quindi il punto operativo dovrebbe riflettere gli obiettivi del compito convalidati e i costi degli errori.
La maggior parte degli algoritmi di classificazione, come la regressione logistica, le foreste casuali e le reti neurali con output sigmoideo, producono un punteggio di probabilità continuo anziché un'etichetta di classe diretta. L'impostazione predefinita comune di convertire quel punteggio in una decisione controllando se supera 0,5 è una convenzione, non un requisito matematico, ed è ottimale per una probabilità a posteriori calibrata quando falsi positivi e falsi negativi hanno costi uguali e le decisioni corrette hanno costo zero; non è richiesta la parità di prevalenza di classe. Quando tali condizioni non si verificano, il che è comune, una soglia diversa produce risultati migliori nel mondo reale anche se il modello sottostante non è cambiato. Diversi metodi consolidati guidano la selezione della soglia. Utilizzando la curva precisione-richiamo, un professionista può scegliere la soglia che raggiunge la precisione o il richiamo minimo richiesto per l'applicazione, ad esempio garantendo che un sistema antifrode rilevi almeno il 90% dei casi di frode. La statistica J di Youden della curva ROC identifica la soglia che massimizza la sensibilità più la specificità meno uno, fornendo un limite bilanciato quando entrambi i tipi di errore hanno la stessa importanza. Quando i costi sono esplicitamente noti, la formula della soglia di minimizzazione dei costi derivante dall’apprendimento sensibile ai costi si applica direttamente. Un malinteso comune è che l'ottimizzazione della soglia modifichi il modello stesso; non è così, cambia solo quando la linea decisionale viene tracciata sugli stessi risultati probabilistici sottostanti, il che significa che lo stesso modello addestrato può servire punti operativi molto diversi a seconda del contesto di distribuzione, e la soglia appropriata può persino cambiare nel tempo man mano che il costo degli errori cambia.
Un modello di triage ospedaliero abbassa la soglia per contrassegnare un paziente come ad alto rischio da 0,5 a 0,2, accettando più falsi allarmi in cambio della rilevazione di emergenze più reali che altrimenti verrebbero perse.
Un sistema di frode con carta di credito aumenta la soglia sopra 0,5 durante un periodo di acquisti ad alto volume per evitare di inondare i revisori umani con falsi positivi, accettando temporaneamente un tasso leggermente più alto di frodi mancate.
Un team di marketing seleziona una soglia utilizzando curve di richiamo di precisione anziché accuratezza, poiché il segmento di clienti target è raro e un limite di 0,5 non predirebbe quasi nessuno come probabile acquirente.
Un classificatore binario di spam utilizza la statistica J di Youden sulla sua curva ROC per trovare la soglia che meglio bilancia la cattura dello spam con il mancato blocco della posta legittima, piuttosto che accettare il limite predefinito della libreria.
L’ottimizzazione delle soglie rimarrà probabilmente un passaggio standard nell’implementazione dei classificatori piuttosto che una tecnica di nicchia, poiché sempre più team riconoscono che i limiti predefiniti raramente soddisfano le esigenze di produzione. Il crescente utilizzo del monitoraggio automatizzato può consentire alle soglie di adattarsi allo spostamento della distribuzione delle classi o delle strutture dei costi dopo l’implementazione, sebbene ciò richieda un’attenta convalida per evitare confini decisionali instabili o manipolati. Nella maggior parte dei sistemi attuali rimane un passaggio manuale, basato sul giudizio, piuttosto che qualcosa che i modelli apprendono da soli. Una modifica alla distribuzione può alterare la prevalenza, la calibrazione del punteggio, la capacità di revisione disponibile o il danno di ciascun errore, quindi il monitoraggio dovrebbe innescare una nuova convalida piuttosto che uno spostamento automatico della soglia. Conservare un set di valutazione finale intatto quando possibile e documentare la soglia scelta con le condizioni operative previste.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'ottimizzazione della soglia di classificazione seleziona il limite del punteggio utilizzato per trasformare l'output di un modello in una decisione di classe. È importante perché diversi limiti modificano l’equilibrio tra falsi positivi e falsi negativi, quindi il punto operativo dovrebbe riflettere gli obiettivi del compito convalidati e i costi degli errori.
Con probabilità a posteriori calibrate e costo zero per decisioni corrette, costi uguali per i due tipi di errore producono un limite decisionale di 0,5; non è richiesto il saldo di classe.
Abbassando la soglia, il modello segnala più casi come positivi, scambiando ulteriori falsi allarmi con meno emergenze perse.
La guida definisce la J di Youden come sensibilità più specificità meno uno, fornendo un valore limite equilibrato per la curva ROC.
La guida afferma esplicitamente che l'ottimizzazione della soglia non modifica il modello stesso, ma solo laddove il limite viene posizionato sulle probabilità di output esistenti.
La guida specifica l'utilizzo di un set di convalida ritardato per evitare di adattare eccessivamente la scelta della soglia ai dati di training o di test finali.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Classificazione multietichetta
Tecnico