Awọn ipilẹ Itọsọna
Ibajẹ iwuwo ati L2 Regularization
Ibajẹ iwuwo jẹ ọna ti o rọrun, ti o lagbara ti o sọ awọn iwuwo awoṣe kan si odo lakoko ikẹkọ, ni irẹwẹsi lati gbekele pupọju lori ẹya kan ṣoṣo.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O dinku apọju ati pe o jẹ ọkan ninu awọn regularizers ti a lo julọ ni ẹkọ jinlẹ.
Jin Dive
Nigbati awoṣe ba ṣe ikẹkọ, o le di ariwo sinu data nipa didasilẹ nla, awọn iwọn aifwy ti o dara ti o baamu ti ṣeto ikẹkọ ni pipe ṣugbọn gbogbogbo ko dara. L2 deede n ja eyi nipa fifi ijiya kan kun si iye awọn iwọn onigun mẹrin si iṣẹ isonu. Olumudara ni bayi ni awọn ibi-afẹde meji: baamu data naa ki o jẹ ki awọn iwuwo jẹ kekere, nitorinaa o yanju lori didan, awọn ojutu to lagbara diẹ sii. Ibajẹ iwuwo jẹ imọran ti o ni ibatan pẹkipẹki ti idinku gbogbo iwuwo nipasẹ ida kekere kan lori igbesẹ imudojuiwọn kọọkan. Pẹlu isunmọ gradient itele ti awọn meji jẹ deede mathematiki, ṣugbọn pẹlu awọn iṣapeye aṣamubadọgba bii Adam wọn yatọ, eyiti o jẹ idi ti AdamW ṣe ṣafihan lati decouple ibajẹ lati imudojuiwọn-orisun gradient ati jẹ ki o huwa ni deede.
Real-World imuse
Ṣafikun iwuwo_decay ni PyTorch's AdamW tabi SGD iṣapeye nigba ikẹkọ awọn kilasika aworan lati dena iwọn apọju.
Ṣiṣatunṣe olùsọdipúpọ lambda ni ipadasẹhin oke, awoṣe laini ijiya L2 Ayebaye, lati mu awọn asọtẹlẹ duro lori awọn ẹya ti o jọmọ
Awoṣe ede nla awọn ilana ikẹkọ iṣaju ti o ṣeto ibajẹ iwuwo kekere kan (nigbagbogbo ni ayika 0.1) lẹgbẹẹ iṣeto-oṣuwọn ẹkọ
Apapọ ibajẹ iwuwo pẹlu imudara data ati yiyọ kuro lati tọju awoṣe aworan iṣoogun kekere kan lati ṣe akori awọn iwoye ikẹkọ lopin
Ojo iwaju ti Ibajẹ iwuwo ati L2 Regularization
Ibajẹ iwuwo jẹ eroja aifọwọyi ni awọn ilana ikẹkọ fun awọn awoṣe ede nla ati awọn oluyipada iran, ati pe AdamW jẹ imudara boṣewa fun wọn ni bayi. Iwadi n tẹsiwaju si bi ibajẹ ṣe n ṣe ajọṣepọ pẹlu awọn iṣeto-oṣuwọn ẹkọ, awọn ipele deede, ati iwọn awoṣe, niwọn igba ti agbara imunadoko rẹ yipada bi awọn awoṣe ti ndagba. Reti ilana diẹ sii, o ṣee ṣe fun-Layer tabi iṣeto-iṣeduro ibajẹ ti o mọ bi wiwa hyperparameter adaṣe adaṣe ati awọn ikẹkọ ofin igbelosoke.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Ibajẹ iwuwo ati Ilana L2 ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Weight Decay and L2 Regularization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Ibajẹ iwuwo ati L2 Regularization?
Ibajẹ iwuwo jẹ ọna ti o rọrun, ti o lagbara ti o sọ awọn iwuwo awoṣe kan si odo lakoko ikẹkọ, ni irẹwẹsi lati gbekele pupọju lori ẹya kan ṣoṣo. O dinku apọju ati pe o jẹ ọkan ninu awọn oluṣeto igbagbogbo ti a lo julọ ni ẹkọ ti o jinlẹ.
Kini L2 deede ṣe afikun si iṣẹ isonu naa?
Ilana L2 ṣe afikun awọn akoko lambda ni apao awọn iwuwo onigun mẹrin, ijiya awọn iwuwo nla ati iwuri kere, awọn solusan didan.
Kini iṣoro akọkọ ti ibajẹ iwuwo ṣe iranlọwọ fun idena?
Nipa titọju awọn iwuwo kekere, ibajẹ iwuwo n ṣe irẹwẹsi awoṣe lati ariwo ibamu, imudarasi gbogbogbo si data tuntun.
Ninu itọsọna wo ni ibajẹ iwuwo nfa awọn iwuwo awoṣe?
Ibajẹ iwuwo n dinku awọn iwuwo si odo lori imudojuiwọn kọọkan, eyiti o jẹ idi ti o ma n ṣe apejuwe nigba miiran bi 'ibajẹ' awọn iwuwo.
Kini idi ti AdamW ṣe ṣafihan?
Ni Adam, kika L2 sinu isonu isonu nlo buburu pẹlu iwọn-paramita; AdamW kan ibajẹ lọtọ lati mu pada isunki aṣọ ti a pinnu pada.
Fun isọkalẹ sitokasitik itele, bawo ni isọdọtun L2 ati ibajẹ iwuwo ṣe ni ibatan?
Pẹlu SGD itele, fifi ijiya L2 kan si pipadanu n ṣe imudojuiwọn kanna bi awọn iwuwo idinku taara, nitorinaa awọn mejeeji jẹ deede.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii