Aami Din
Irọrun aami jẹ ẹtan deede ti o rọrun ti o rọ awọn ibi-afẹde ikẹkọ gbigbona lile kan, sisọ fun awoṣe pe idahun to pe o ṣeeṣe pupọ ṣugbọn kii ṣe 100 ogorun pato.
Akopọ
It improves calibration and generalization across image and language models with almost no extra cost.
Jin Dive
Deede a classifier ti wa ni ikẹkọ lori ọkan-gbona aami: awọn otito kilasi gba afojusun 1.0 ati ohun gbogbo miran 0.0. Ni idapọ pẹlu agbelebu-entropy ati softmax, eyi n tẹ awoṣe naa lati jẹ ki logit ti o tọ ni ailopin ti o tobi ju iyokù lọ, ti o ni iyanju igbẹkẹle ati apọju. Aami mimu rọpo ibi-afẹde pẹlu (1 - epsilon) fun kilasi otitọ ati epsilon/(K-1) tan kaakiri awọn kilasi K miiran, nibiti epsilon jẹ kekere (eyiti o wọpọ 0.1). Awoṣe naa ni ifọkansi bayi fun igbẹkẹle-ṣugbọn kii ṣe pinpin pipe. Agbekale ni 2016 Inception-v3 ise ati ki o nigbamii atupale nipa Hinton ká ẹgbẹ, o dara ImageNet išedede ati ki o jẹ boṣewa ni Ayirapada, ibi ti awọn atilẹba Ifarabalẹ ni Gbogbo O Nilo iwe lo epsilon ti 0.1.
Imọ-imọ-ẹrọ
Pẹlu awọn akole lile, idinku agbelebu-entropy n ṣe awakọ logiti to pe si ailopin rere ni ibatan si awọn miiran, eyiti ko ṣee ṣe ati titari awọn iwuwo si awọn iwọn. Didun ṣeto aafo aipe to peye laarin logit to tọ ati iyoku, nitorinaa awọn logits duro ni didi ati awoṣe naa da duro ni igboya pupọ julọ. Awọn ijinlẹ fihan eyi n di awọn iṣupọ-kilasi kanna ati gbejade awọn iṣeeṣe ti o ni iwọn to dara julọ, igbẹkẹle asọtẹlẹ baamu deede gangan. Iṣowo naa: o le nu awọn alaye isọra-dara-dara laarin-kilasi rẹ, eyiti o ma dun distillation imọ nigbakan nibiti awọn ibatan rirọ wọnyẹn ṣe pataki.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Label Smoothing
Iyọ aami si maa wa aiyipada ni ikẹkọ iwọn-nla, ṣugbọn iwadii n lọ si isọdi ati imudara ikẹkọ ti o ṣatunṣe epsilon fun apẹẹrẹ tabi kilasi dipo lilo iye alapin kan. Awọn ọna idojukọ-iwọn bi isonu idojukọ ati iwọn otutu nigbagbogbo ni iwọn lodi si tabi ni idapo pẹlu rẹ. Bi awọn awoṣe ti ndagba ati awọn iṣiro aidaniloju igbẹkẹle di pataki-ailewu, nireti didin lati jẹ ohun elo kan laarin ọpọlọpọ fun iṣelọpọ awọn ikun igbẹkẹle igbẹkẹle, pẹlu akiyesi ṣọra si rogbodiyan ti a mọ pẹlu distillation.
Real-World imuse
PipaNet classification: Inception-v3 lo aami smoothing (epsilon 0.1) lati se alekun oke-1 deede ati ki o din over igbekele.
Itumọ ẹrọ: Amunawa atilẹba ti a lo aami didimu ti 0.1, iṣowo idamu diẹ fun awọn ikun BLEU ti o ga julọ.
Idanimọ ọrọ: awọn ibi-afẹde didin dinku awọn idanimọ aiṣedeede ti o ni igboya ati ilọsiwaju iwọntunwọnsi lori ohun alariwo.
Awọn awoṣe aworan iṣoogun: didin n mu awọn iṣeeṣe ti iwọn-dara julọ, pataki nigbati Dimegilio igbẹkẹle sọ fun awọn ipinnu ile-iwosan.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Aami Smoothing ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
K-Tumosi iṣupọ
Awọn ibeere ti a beere nigbagbogbo
What is Label Smoothing?
Irọrun aami jẹ ẹtan deede ti o rọrun ti o rọ awọn ibi-afẹde ikẹkọ gbigbona lile kan, sisọ fun awoṣe pe idahun to pe o ṣeeṣe pupọ ṣugbọn kii ṣe 100 ogorun pato. O ṣe imudara iwọntunwọnsi ati gbogbogbo kọja aworan ati awọn awoṣe ede pẹlu fẹrẹẹ ko si idiyele afikun.
Kini aami iyipada smoothing nipa awọn ibi-afẹde ikẹkọ?
Dipo ibi-afẹde 1.0/0.0 lile kan, fi aami si awọn iyansilẹ smoothing (1 - epsilon) si kilasi otitọ ati tan epsilon kọja awọn miiran.
Ohun ti isoro pẹlu lile ọkan-gbona akole wo ni smoothing adirẹsi?
Dinkuro agbelebu-entropy lori awọn ibi-afẹde ọkan-gbona n ṣe awakọ logiti ti o pe si ailopin ni ibatan si awọn miiran, iwuri aṣeju ati aṣeju.
Awọn ile ayaworan ile wo ni o ṣe iranlọwọ lati gbajuwe didimu aami bi?
Aami smoothing ti a ṣe ni 2016 Inception-v3 iwe ati ki o gba nipasẹ awọn Amunawa (Ifarabalẹ Ni Gbogbo O Nilo) pẹlu epsilon 0.1.
Yato si išedede, kini anfani ti aami didan ti a mọ fun?
Didun mu iwọntunwọnsi pọ si, igbẹkẹle ti a sọtẹlẹ ṣe deede ni pẹkipẹki pẹlu iṣeeṣe otitọ lati jẹ deede.
Kini isale isalẹ ti aami didan?
Nipa didi awọn iṣupọ ati fifẹ awọn ibatan rirọ laarin awọn kilasi, didan le yọ alaye kuro ti imọ-jinlẹ da lori.