Il prossimoProssima guida
Etichette di contenuto AI su piattaforme social
Società
GUIDA AI FONDAMENTALI
Label smoothing replaces hard one-hot targets with a softened target distribution during training.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
Classificazione ImageNet: Inception-v3 ha utilizzato il livellamento delle etichette (epsilon 0.1) per aumentare la precisione top-1 e ridurre l'eccessiva sicurezza.
Traduzione automatica: il Transformer originale ha applicato un livellamento dell'etichetta pari a 0,1, scambiando un po' di perplessità con punteggi BLEU più alti.
Riconoscimento vocale: gli obiettivi uniformati riducono i riconoscimenti errati troppo sicuri e migliorano la calibrazione sull'audio rumoroso.
Modelli di imaging medico: il livellamento produce probabilità meglio calibrate, importanti quando un punteggio di confidenza informa le decisioni cliniche.
Il livellamento delle etichette rimane un'impostazione predefinita nella formazione su larga scala, ma la ricerca si sta muovendo verso un livellamento adattivo e appreso che regola l'epsilon per esempio o classe anziché utilizzare un valore fisso. I metodi incentrati sulla calibrazione, come la perdita focale e il ridimensionamento della temperatura, vengono spesso valutati o combinati con esso. Man mano che i modelli crescono e le stime affidabili dell’incertezza diventano critiche per la sicurezza, ci si aspetta che il livellamento diventi uno strumento tra i tanti per produrre punteggi di confidenza affidabili, con particolare attenzione al suo noto conflitto con la distillazione.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
Invece di un obiettivo rigido 1.0/0.0, il livellamento delle etichette assegna (1 - epsilon) alla classe vera e distribuisce epsilon tra le altre.
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
Restringendo i cluster e appiattindo le relazioni morbide tra le classi, lo smoothing può rimuovere le informazioni su cui si basa la distillazione della conoscenza.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Etichette di contenuto AI su piattaforme social
Società