Ibajẹ iwuwo ati L2 Regularization
Ibajẹ iwuwo jẹ ọna ti o rọrun, ti o lagbara ti o sọ awọn iwuwo awoṣe kan si odo lakoko ikẹkọ, ni irẹwẹsi lati gbekele pupọju lori ẹya kan ṣoṣo.
Akopọ
O dinku apọju ati pe o jẹ ọkan ninu awọn regularizers ti a lo julọ ni ẹkọ jinlẹ.
Jin Dive
Nigbati awoṣe ba ṣe ikẹkọ, o le di ariwo sinu data nipa didasilẹ nla, awọn iwọn aifwy ti o dara ti o baamu ti ṣeto ikẹkọ ni pipe ṣugbọn gbogbogbo ko dara. L2 deede n ja eyi nipa fifi ijiya kan kun si iye awọn iwọn onigun mẹrin si iṣẹ isonu. Olumudara ni bayi ni awọn ibi-afẹde meji: baamu data naa ki o jẹ ki awọn iwuwo jẹ kekere, nitorinaa o yanju lori didan, awọn ojutu to lagbara diẹ sii. Ibajẹ iwuwo jẹ imọran ti o ni ibatan pẹkipẹki ti idinku gbogbo iwuwo nipasẹ ida kekere kan lori igbesẹ imudojuiwọn kọọkan. Pẹlu isunmọ gradient itele ti awọn meji jẹ deede mathematiki, ṣugbọn pẹlu awọn iṣapeye aṣamubadọgba bii Adam wọn yatọ, eyiti o jẹ idi ti AdamW ṣe ṣafihan lati decouple ibajẹ lati imudojuiwọn-orisun gradient ati jẹ ki o huwa ni deede.
Imọ-imọ-ẹrọ
Iṣatunṣe L2 ṣe afikun awọn akoko lambda ni apao awọn iwuwo onigun mẹrin si pipadanu, nitorinaa gradient rẹ ṣafikun ọrọ kan ni ibamu si iwuwo kọọkan, fifaa si odo. Idibajẹ iwuwo iwuwo dipo isodipupo iwuwo kọọkan nipasẹ ifosiwewe bii (1 iyokuro learning_rate times lambda) taara. Ni awọn ọna imudọgba, sisọpọ L2 sinu pipadanu jẹ ki iwọn-paramita fun-paramita daru ijiya naa, nitorina AdamW kan isunmọ ni lọtọ, mimu-pada sipo aṣọ-aṣọ ti a pinnu si awọn iwuwo kekere.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Ibajẹ iwuwo ati L2 Regularization
Ibajẹ iwuwo jẹ eroja aifọwọyi ni awọn ilana ikẹkọ fun awọn awoṣe ede nla ati awọn oluyipada iran, ati pe AdamW jẹ imudara boṣewa fun wọn ni bayi. Iwadi n tẹsiwaju si bi ibajẹ ṣe n ṣe ajọṣepọ pẹlu awọn iṣeto-oṣuwọn ẹkọ, awọn ipele deede, ati iwọn awoṣe, niwọn igba ti agbara imunadoko rẹ yipada bi awọn awoṣe ti ndagba. Reti ilana diẹ sii, o ṣee ṣe fun-Layer tabi iṣeto-iṣeduro ibajẹ ti o mọ bi wiwa hyperparameter adaṣe adaṣe ati awọn ikẹkọ ofin igbelosoke.
Real-World imuse
Ṣafikun iwuwo_decay ni PyTorch's AdamW tabi SGD iṣapeye nigba ikẹkọ awọn kilasika aworan lati dena iwọn apọju.
Ṣiṣatunṣe olùsọdipúpọ lambda ni ipadasẹhin oke, awoṣe laini ijiya L2 Ayebaye, lati mu awọn asọtẹlẹ duro lori awọn ẹya ti o jọmọ
Awoṣe ede nla awọn ilana ikẹkọ iṣaju ti o ṣeto ibajẹ iwuwo kekere kan (nigbagbogbo ni ayika 0.1) lẹgbẹẹ iṣeto-oṣuwọn ẹkọ
Apapọ ibajẹ iwuwo pẹlu imudara data ati yiyọ kuro lati tọju awoṣe aworan iṣoogun kekere kan lati ṣe akori awọn iwoye ikẹkọ lopin
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Ibajẹ iwuwo ati Ilana L2 ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Weight Decay and L2 Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣatunṣe
Awọn ibeere ti a beere nigbagbogbo
Kini Ibajẹ iwuwo ati L2 Regularization?
Ibajẹ iwuwo jẹ ọna ti o rọrun, ti o lagbara ti o sọ awọn iwuwo awoṣe kan si odo lakoko ikẹkọ, ni irẹwẹsi lati gbekele pupọju lori ẹya kan ṣoṣo. O dinku apọju ati pe o jẹ ọkan ninu awọn oluṣeto igbagbogbo ti a lo julọ ni ẹkọ ti o jinlẹ.
Kini L2 deede ṣe afikun si iṣẹ isonu naa?
Ilana L2 ṣe afikun awọn akoko lambda ni apao awọn iwuwo onigun mẹrin, ijiya awọn iwuwo nla ati iwuri kere, awọn solusan didan.
Kini iṣoro akọkọ ti ibajẹ iwuwo ṣe iranlọwọ fun idena?
Nipa titọju awọn iwuwo kekere, ibajẹ iwuwo n ṣe irẹwẹsi awoṣe lati ariwo ibamu, imudarasi gbogbogbo si data tuntun.
Ninu itọsọna wo ni ibajẹ iwuwo nfa awọn iwuwo awoṣe?
Ibajẹ iwuwo n dinku awọn iwuwo si odo lori imudojuiwọn kọọkan, eyiti o jẹ idi ti o ma n ṣe apejuwe nigba miiran bi 'ibajẹ' awọn iwuwo.
Kini idi ti AdamW ṣe ṣafihan?
Ni Adam, kika L2 sinu isonu isonu nlo buburu pẹlu iwọn-paramita; AdamW kan ibajẹ lọtọ lati mu pada isunki aṣọ ti a pinnu pada.
Fun isọkalẹ sitokasitik itele, bawo ni isọdọtun L2 ati ibajẹ iwuwo ṣe ni ibatan?
Pẹlu SGD itele, fifi ijiya L2 kan si pipadanu n ṣe imudojuiwọn kanna bi awọn iwuwo idinku taara, nitorinaa awọn mejeeji jẹ deede.