Din-din-dinku
Dindindin-Aware (SAM) jẹ ọna iṣapeye ti o n wa kii ṣe isonu kekere nikan ṣugbọn pipadanu kekere kọja gbogbo agbegbe ti awọn iwuwo - o kere ju alapin.
Akopọ
Flatter minima ṣọ lati generalize dara, ki SAM igba mu igbeyewo yiye ati robustness lai iyipada awọn awoṣe faaji.
Jin Dive
Ikẹkọ boṣewa dinku pipadanu ni aaye kan ni aaye iwuwo, ṣugbọn awọn solusan meji pẹlu pipadanu ikẹkọ kanna le huwa ni iyatọ pupọ: “didasilẹ” o kere ju joko ni afonifoji dín nibiti awọn perturbations iwuwo iwuwo pọ si pipadanu, lakoko ti o kere ju 'alapin' fi aaye gba perturbation ati nigbagbogbo ṣe gbogbogbo dara julọ si data ti a ko rii. SAM, ti a ṣe nipasẹ Google awọn oniwadi ni ọdun 2020, jẹ ki eyi han gbangba. Ni igbesẹ kọọkan o kọkọ wa idibajẹ iwuwo ti o wa nitosi (laarin radius rho kekere) ti o mu ki isonu naa pọ si - aladugbo ti o buruju - lẹhinna ṣe imudojuiwọn awọn iwọn atilẹba lati dinku pipadanu ni aaye idamu yẹn. Ibi-afẹde min-max yi titari iṣapeye si awọn agbegbe ti o lọ silẹ ni iṣọkan, ti nsojade ni akiyesi gbogbogbo ti o dara julọ lori isọdi aworan ati ikọja.
Imọ-imọ-ẹrọ
Igbesẹ SAM kọọkan jẹ awọn ọna meji. Lákọ̀ọ́kọ́, ṣe ìṣàròpọ̀ ìrọ̀lẹ́ ní àwọn òṣùwọ̀n lọ́wọ́lọ́wọ́ kí o sì gbé ìgbésẹ̀ ‘ìgoke’ kan ti iwọn rho ní ìdarí gradient láti dé ibi tí ó burú jù lọ nítòsí. Ẹlẹẹkeji, ṣe iṣiro gradient ni aaye rudurudu yẹn ki o lo lati ṣe imudojuiwọn awọn iwuwo atilẹba. Rediosi rho n ṣakoso bii agbegbe nla ti o daabobo lodi si. Iye idiyele naa jẹ aijọju awọn gbigbe siwaju-sẹhin meji fun igbesẹ kan, eyiti o ṣe ilọpo meji-iṣiro - idapada ilowo akọkọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Dindinku-Imọ
SAM ti fa ẹbi kan ti awọn atẹle ti o ni ero si ailera rẹ ti o tobi julọ, iṣiro ilọpo meji: awọn iyatọ ti o munadoko bi ESAM, LookSAM, ati awọn ọna ti o fa idasile awọn iwuwo nikan tabi lo SAM ni gbogbo awọn igbesẹ diẹ. SAM Adaptive (ASAM) ṣe atunṣe rediosi lati jẹ iwọn-ayipada. Awọn oniwadi tẹsiwaju lati jiroro ni pato idi ti irẹwẹsi ṣe iranlọwọ ati bii o ṣe le ṣe iwọn rẹ, ati awọn imọran didasilẹ ti n tan kaakiri si awọn awoṣe ede ti o dara-tuntun ati imudarasi agbara si iyipada pinpin.
Real-World imuse
Igbelaruge Amunawa Iran ati deede ResNet lori ImageNet nipasẹ ikẹkọ pẹlu SAM dipo SGD itele.
Imudara agbara lati ṣe aami ariwo, niwọn igba ti minima alapin ko ṣeeṣe lati ṣe akori awọn akole ibaje.
Titun-tuntun awọn awoṣe ede ti a ti kọkọ tẹlẹ pẹlu SAM lati ni ijumọsọrọpọ to dara julọ lori awọn ipilẹ data kekere isalẹ.
Lilo ESAM tabi awọn iyatọ LookSAM nigbati iye owo iṣiro ilọpo meji ti fanila SAM jẹ gbowolori pupọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sharpness-Aware Minimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
DenseNet ati ipon Asopọmọra
Awọn ibeere ti a beere nigbagbogbo
Kini Sharpness-Aware Minimization?
Dindindin-Aware (SAM) jẹ ọna iṣapeye ti o n wa kii ṣe isonu kekere nikan ṣugbọn pipadanu kekere kọja gbogbo agbegbe ti awọn iwuwo - o kere ju alapin. Minima Flatter ṣọ lati ṣakopọ dara julọ, nitorinaa SAM nigbagbogbo ṣe ilọsiwaju deede idanwo ati agbara laisi iyipada faaji awoṣe.
Iru kere wo ni SAM gbiyanju lati wa?
SAM fojusi minima alapin nitori pipadanu ti o wa ni kekere labẹ awọn ipadanu iwuwo kekere duro lati ṣakopọ dara julọ si data ti a ko rii.
Bawo ni ọpọlọpọ siwaju-sẹhin kọja ni igbesẹ SAM boṣewa nilo?
SAM ṣe iṣiro gradient kan lati wa aaye ti o buru julọ ti o wa nitosi, lẹhinna gradient miiran nibẹ lati ṣe imudojuiwọn - nipa ilọpo idiyele deede.
Kini iṣakoso hyperparameter rediosi rho ni SAM?
Rho ṣeto bi o ṣe jinna igbesẹ 'igoke' lati wa aladugbo ti o buruju, ti n ṣalaye bawo ni agbegbe alapin SAM ṣe n wa.
Kini akọkọ ti awọn igbesẹ meji SAM ni aṣetunṣe kọọkan?
SAM kọkọ ṣe idamu awọn iwuwo laarin radius rho ni itọsọna ti o mu pipadanu pọ si, lẹhinna sọkalẹ lati aaye atilẹba nipa lilo gradient ti a ṣe iṣiro nibẹ.
Kini idi ti SAM nigbagbogbo ṣe ilọsiwaju agbara lati ṣe aami ariwo?
Ni iranti awọn aami alariwo ni igbagbogbo nilo didasilẹ, minima dín; nipa ojurere alapin awọn ẹkun ni, SAM koju wipe overfitting.