LegközelebbKövetkező útmutató
AI tartalomcímkék közösségi platformokon
Társadalom
Alapok ÚTMUTATÓ
Label smoothing replaces hard one-hot targets with a softened target distribution during training.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
ImageNet besorolás: Az Inception-v3 címkesimítást (epsilon 0.1) használt a legjobb 1 pontosság növelése és a túlzott magabiztosság csökkentése érdekében.
Gépi fordítás: az eredeti Transformer 0,1-es címkesimítást alkalmazott, egy kis zavart keresve a magasabb BLEU-pontszámokért.
Beszédfelismerés: a kisimított célpontok csökkentik a túlzottan magabiztos félreismeréseket, és javítják a kalibrációt a zajos hangon.
Orvosi képalkotó modellek: a simítás jobb kalibrált valószínűségeket ad, ami akkor fontos, ha a megbízhatósági pontszám a klinikai döntéseket megalapozza.
A címkesimítás továbbra is alapértelmezett a nagyszabású képzésben, de a kutatás az adaptív és tanult simítás felé halad, amely példánként vagy osztályonként korrigálja az epszilont, ahelyett, hogy egyetlen sima értéket használna. A kalibrációra összpontosító módszereket, például a fókuszvesztést és a hőmérséklet-skálázást gyakran mérlegelik vagy kombinálják vele. Ahogy a modellek növekednek, és a megbízható bizonytalansági becslések biztonságkritikussá válnak, a simításra számítani kell, hogy a megbízható megbízhatósági pontszámok előállításának egyik eszköze a sok közül, különös tekintettel a desztillációval való ismert konfliktusára.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
A kemény 1.0/0.0 cél helyett a címkesimítás (1 - epsilon) hozzárendeli a valódi osztályt, és szétosztja az epszilont a többi között.
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
A klaszterek szigorításával és az osztályok közötti lágy kapcsolatok ellaposításával a simítás eltávolíthatja azokat az információkat, amelyekre a tudás lepárlása támaszkodik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI tartalomcímkék közösségi platformokon
Társadalom