DalšíDalší průvodce
Štítky obsahu AI na sociálních platformách
Společnost
PRŮVODCE Základy
Label smoothing replaces hard one-hot targets with a softened target distribution during training.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
Klasifikace ImageNet: Inception-v3 používal vyhlazování štítků (epsilon 0,1) ke zvýšení přesnosti top-1 a snížení nadměrné sebedůvěry.
Strojový překlad: původní Transformer aplikoval vyhlazení štítků na 0,1, což trochu znepokojilo pro vyšší skóre BLEU.
Rozpoznávání řeči: vyhlazené cíle snižují příliš sebevědomá nesprávná rozpoznání a zlepšují kalibraci hlučného zvuku.
Lékařské zobrazovací modely: vyhlazování poskytuje lépe kalibrované pravděpodobnosti, což je důležité, když skóre spolehlivosti informuje o klinických rozhodnutích.
Vyhlazování štítků zůstává výchozím nastavením při rozsáhlém školení, ale výzkum se posouvá směrem k adaptivnímu a naučenému vyhlazování, které upravuje epsilon podle příkladu nebo třídy spíše než pomocí jedné ploché hodnoty. Metody zaměřené na kalibraci, jako je ztráta ohniska a teplotní škálování, se často porovnávají nebo se s nimi kombinují. Jak modely rostou a spolehlivé odhady nejistoty se stávají kritickými pro bezpečnost, očekávejte, že vyhlazování bude jedním z mnoha nástrojů pro vytváření důvěryhodných skóre spolehlivosti, s pečlivou pozorností k jeho známému konfliktu s destilací.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
Namísto tvrdého cíle 1,0/0,0 vyhlazování štítků přiřadí (1 - epsilon) skutečné třídě a rozšíří epsilon mezi ostatní.
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
Zpřísněním shluků a zploštěním měkkých vztahů mezi třídami může vyhlazování odstranit informace, na kterých se spoléhá destilace znalostí.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Štítky obsahu AI na sociálních platformách
Společnost