VolgendeVolgende gids
AI-inhoudslabels op sociale platforms
Samenleving
Basisprincipes GIDS
Label smoothing vervangt harde one-hot targets door een zachtere targetverdeling tijdens de training.
Luister naar deze gidsAI-verteld · ~2 min
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
ImageNet-classificatie: Inception-v3 gebruikte labelafvlakking (epsilon 0.1) om de top-1-nauwkeurigheid te vergroten en overmoed te verminderen.
Machinevertaling: de originele Transformer paste een label-afvlakking van 0,1 toe, waarbij een beetje verwarring werd ingeruild voor hogere BLEU-scores.
Spraakherkenning: afgevlakte doelen verminderen overmoedige verkeerde herkenning en verbeteren de kalibratie op luidruchtige audio.
Medische beeldvormingsmodellen: afvlakking levert beter gekalibreerde kansen op, belangrijk wanneer een betrouwbaarheidsscore klinische beslissingen informeert.
Etikettenafvlakking blijft een standaard bij grootschalige training, maar onderzoek evolueert in de richting van adaptieve en aangeleerde afvlakking waarbij epsilon per voorbeeld of klasse wordt aangepast in plaats van één vaste waarde te gebruiken. Op kalibratie gerichte methoden zoals focal loss en temperatuurschaling worden er vaak tegen afgewogen of ermee gecombineerd. Naarmate de modellen groeien en betrouwbare onzekerheidsschattingen van cruciaal belang worden voor de veiligheid, kunt u ervan uitgaan dat smoothing een van de vele instrumenten zal zijn voor het produceren van betrouwbare betrouwbaarheidsscores, met zorgvuldige aandacht voor het bekende conflict met destillatie.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
In plaats van een hard doel van 1,0/0,0 wijst label-afvlakking (1 - epsilon) toe aan de echte klasse en verspreidt epsilon over de anderen.
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
Door clusters aan te scherpen en de zachte relaties tussen klassen af te vlakken, kan afvlakking informatie verwijderen waarvan kennisdestillatie afhankelijk is.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI-inhoudslabels op sociale platforms
Samenleving