Nooyal etiket
Label smoothing ab pexe regularisation bu yomb la buy yombal ay target yu tar ci tàggat yaram, di wax model bi tontu bu dëggu bi mën na nekk waaye amul 100 pursaa.
Résumé
It improves calibration and generalization across image and language models with almost no extra cost.
Plongeur bu xóot
Dañuy faral di tàggat ab classificateur ci benn etiket bu tàng: class dëgg bi dafay am target 1.0 ak leneen lépp 0.0. Buñu ko boole ak cross-entropy ak softmax, loolu dafay puus model bi mu def logit bu dëggu bi gëna rëy yeneen yi, di ñaax wóolu sa bopp bu ëpp ak méngoo bu ëpp. Nooyal etiket bi dafay wecci liñu bëgga def ak (1 - epsilon) ngir xeetu dëgg bi ak epsilon/(K-1) tasaaroo ci yeneen xeetu K yi, fu epsilon bi tuuti (dafay faral di nekk 0.1). Leegi xeetu séddale bi dafa wóolu waaye du absolu. Ñu ngi ko dugal ci liggéeyu Inception-v3 ci 2016, ci ganaw ga kuréelu Hinton jàngat ko, mu gëna yombal njubte ImageNet ba noppi nekk standard ci Transformers, fu këyit bi njëkk mooy li nga soxla lépp jëfandikoo epsilon bu 0.1.
Gis-gis xarala
Ak etiketu dëgër, wàññi cross-entropy dafay yóbbu logit bu dëggu bi ci infini bu baax buñu ko méngale ak ñeneen ñi, te loolu mënul am, te dafay puus diisaay yi ba ci extrême. Smoothing dafay tëral benn gap bu baax diggante logit bu dëggu bi ak leneen li, suko defee logit yi des ci ay yam te model bi du gëna wóolu boppam. Jàngat yi dañu wane ni loolu dafay gëna dëgëral cluster yu benn-klaas ba noppi defar ay probabilite yu gëna kalibre, wóolu seen bopp méngoo ak dëggug dëgg gi. Kompromis bi: mën na efaase leeral yu nuru yu am solo ci diggante klaas yi, te loolu yenn saa mu gaañ distilaasioŋ xam-xam ci barab yi lëkkaloo yu woyof yi am solo.
njeextalu pexe
dogal yu gëna leer
Daf lay jàppale nga tàqale kàddu yu leer ci wàllu xarala ak làkku fësal njaay.
Njëgg ak budget
Mën nga laaj laaj yu gëna baax ci samp gi balaa ngay dugal xaalis wala sa jotu liggéey.
Ekip ak def liggéey
Ekip yi bokk xam-xam ñoo gëna mëna jël yenn dogal ci wàllu produit, politik ak jàng.
Ëlëgu nooy etiketu
Nooyal etiketu mingi wéy di nekk lu ñuy faral di def ci tàggat-yaram bu mag, waaye gëstu baa ngi jëm ci nooyloo buy méngoo ak jàng buy méngale epsilon ci misaal bu nekk wala ci klaas bu nekk, du jëfandikoo benn valeur bu plat. Pexe yu lalu ci etalonnage yu melni perte focal ak scaling température dañu leen di faral di méngale wala ñu boole ci. Lu model yi di màgg, te xayma yu wóorul yi dañuy gëna am solo ci wàllu kaaraange, xaaral nooyloo nekk benn jumtukaay ci lu bari ngir génne poñ yu wóor, ak bàyyi xel bu baax ci jafe-jafe yi mu xamee ak distilaasioŋ.
Doxal ci àdduna dëgg
Xeetu ImageNet: Inception-v3 dafa jëfandikoo etiketu nooy (epsilon 0.1) ngir gëna dëgëral top-1 ak wàññi wóolu sa bopp bu ëpp.
Tekki masin: Transformer bi njëkk dafa def etiketu nooy bu 0.1, di jaay tuuti jaaxle ngir am poñ yu gëna rëy ci BLEU.
Xamme kàddu yi: target yu nooy yi dañuy wàññi njuumte yu gëm seen bopp ba noppi gëna suqali etalonnage ci audio bu bari bruit bi.
Modèlu nataalu pajum: nooyloo dafay joxe probabilite yu gëna kalibre, lu am solo sudee poñ wóolu sa bopp mooy leeral dogal yi ci pajum.
Risk yi ak balustrade yi
Ekip yu bari mën nañu jëfandikoo benn baat ci anam wu wuute, kon teela leeral yaatuwaayam.
Benchmark yi mën nañu nuru lu am doole waaye performance yi ci àdduna bi duñu tolloo.
Bëgg kalite done ak palaŋu jàngat dafay faral di jur njariñ yu yomba dagg.
Roadmap ngir samp gi
Tàmbaleel ci joxe leeral ci làkk wu leer ci njariñ li nga soxla.
Tannal benn metric bu baax ak benn anam bu baaxul balaa ngay saytu.
Doxal ab pilote bu ndaw ak ay done yu representatif, du ab demo bu leer.
Bindal fi Label Smoothing di jàppale ak fi pexe yu gëna yomba gëna baax.
Weyal di banneexu
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Gis bi ci topp
K- dafay tekki boole
Laaj yi ñuy faral di laaj
What is Label Smoothing?
Label smoothing ab pexe regularisation bu yomb la buy yombal ay target yu tar ci tàggat yaram, di wax model bi tontu bu dëggu bi mën na nekk waaye amul 100 pursaa. Dafay gëna yombal etalonnage bi ak yamale gi ci modeli nataal yi ak làkk yi te daanaka amul benn njëg bu ciy yokk.
Lan la etiketu nooy soppi ci wàllu tàggat yaram?
Lu moy 1.0/0.0 bu dëgër, etiketu nooy dafay jox (1 - epsilon) ci klaas bu dëggu bi ba noppi tasaare epsilon ci ñeneen ñi.
Lan mooy jafe-jafe bi am ci etiketu benn-hot bu dëgër bi smoothing di saafara?
Wàññi cross-entropy ci benn target bu tàng mooy dawal logit bu dëggu bi ci infini bi méngoo ak ñeneen ñi, di ñaax wóolu sa bopp bu ëpp ak méngoo bu ëpp.
Ban architecture yu am solo ñoo jàppale ñu siiwal etiketu nooy gi?
Nooyal etiket bi ñu ngi ko dugal ci këyit Inception-v3 bu 2016 te Transformer bi jël ko (Fàttaliku mooy li nga soxla) ak epsilon 0.1.
Lu weesu njub, ban njariñ lañu xamee ci nooy etiket?
Nooyal dafay gëna baaxal etalonnage bi, wóolu giñ séentu dafay gëna méngoo ak dëgg li mëna jub.
Lan mooy njuumte biñ bind ci nooy etiketu?
Suñu gënee dëgëral clusters yi ak dakkal diggante yu yomb yi am ci diggante klaas yi, nooy mën na dindi xibaar yi distillation xam-xam bi di aju ci.