Il prossimoProssima guida
Probability of Default Models
Tecnico
GUIDA TECNICA
La calibrazione significa che le probabilità dichiarate di un modello corrispondono alla realtà: quando dice 70%, l'evento dovrebbe verificarsi circa il 70% delle volte.
Ascolta questa guidaNarrato dall'IA · ~2 min
It matters because accurate confidence drives good decisions in medicine, finance, and risk-sensitive AI.
Un modello può essere accurato ma mal calibrato. Le moderne reti profonde sono note per la loro eccessiva sicurezza, producendo il 99% di previsioni che sono corrette molto meno spesso. La calibrazione verifica ciò suddividendo le previsioni in base alla confidenza e controllando la frequenza osservata in ciascun intervallo. Un diagramma di affidabilità traccia il valore previsto rispetto a quello effettivo; un modello perfettamente calibrato si trova sulla diagonale. L'errore di calibrazione previsto (ECE) riassume il divario come media ponderata tra i contenitori. Le correzioni sono disponibili in due versioni: metodi post-hoc come il ridimensionamento Platt (adattamento di una trasformazione logistica), il ridimensionamento della temperatura (dividendo i logit per una T scalare appresa) e la regressione isotonica (un adattamento a gradini monotono); e metodi relativi ai tempi di addestramento come il livellamento delle etichette o le perdite di punteggio adeguate. La calibrazione e l'accuratezza sono obiettivi distinti e il miglioramento dell'uno non implica necessariamente il miglioramento dell'altro.
Un servizio meteorologico garantisce che i giorni previsti con un 30% di pioggia vedano effettivamente pioggia circa il 30% delle volte, l'obiettivo di calibrazione dei libri di testo.
Un modello di default del credito è scalato in base alla temperatura, quindi un rischio di default dichiarato del 5% corrisponde effettivamente a un tasso di default storico del 5% per la determinazione del prezzo dei prestiti.
Una rete di diagnosi medica viene ricalibrata con regressione isotonica in modo che un'"alta probabilità di malattia" rifletta la reale incidenza prima che i medici agiscano.
Uno stack di percezione della guida autonoma calibra la sicurezza del rilevamento degli oggetti in modo che un punteggio pedonale del 90% venga considerato adeguatamente attendibile dal modulo di pianificazione.
Mentre l’intelligenza artificiale entra in circuiti ad alto rischio, la calibrazione passa dal ripensamento al requisito. Il lavoro si sta espandendo verso la calibrazione della confidenza del modello linguistico ampio e dell’incertezza verbalizzata, la calibrazione in base allo spostamento della distribuzione e la calibrazione a livello di gruppo in modo che le probabilità siano giuste tra le sottopopolazioni. Aspettatevi metriche di calibrazione insieme all’accuratezza delle schede modello e degli audit normativi, oltre a una più stretta integrazione con la previsione conforme e la previsione selettiva in modo che i sistemi possano astenersi in modo affidabile quando la loro fiducia onesta è bassa.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La calibrazione significa che le probabilità dichiarate di un modello corrispondono alla realtà: quando dice 70%, l'evento dovrebbe verificarsi circa il 70% delle volte. È importante perché la fiducia accurata guida le buone decisioni in medicina, finanza e intelligenza artificiale sensibile al rischio.
Il ridimensionamento della temperatura divide i logit per una singola T appresa e riapplica le probabilità softmax, attenuando o accentuando senza modificare l'argmax.
Un diagramma di affidabilità confronta la confidenza prevista con la frequenza effettiva dei risultati; la diagonale rappresenta la calibrazione perfetta.
Un modello può classificare bene le previsioni (elevata precisione) ma assegnare valori di probabilità non corrispondenti, quindi la calibrazione deve essere controllata separatamente.
The guide says the single temperature is fit on validation data to minimize negative log-likelihood.
A positive temperature rescales logits before softmax, adjusting confidence while preserving the argmax class.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Probability of Default Models
Tecnico