HAGAHA Farsamada
Goojinta gradient
Ilaalo fudud, oo si weyn loo isticmaalo oo koobaysa sida cusboonaysiinta gradient-ku ay heli karto inta lagu jiro tababarka.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
Waxay ka hortagtaa hal cusboonaysiin weyn oo khalkhal gelinaya ama burburinaya moodalka, gaar ahaan kuwa soo noqnoqda iyo moodooyinka luqadda.
quusid qoto dheer
Goynta gradient-ku waxay xadidaysaa cabbirka gradient ka hor inta aanu wax hagaajinuhu dabaqin. Foomka ugu caansan waa clip-by-caado: waxaad xisaabinaysaa wadarta guud ee L2 ee dhammaan jaangooyooyinka, oo haddii ay dhaafto xadka la doortay, waxaad hoos u cabbiraysaa jaangooyooyin kasta oo la mid ah isla qodobka sidaa darteed caadigu wuxuu la mid yahay heerka. Tani waxay ilaalinaysaa jihada cusboonaysiinta iyadoo ay sii yaraanayso baaxaddeeda. Kala duwanaansho fudud, kala-qaboojin-qiimo ah, kaliya waxay ku dhejisaa qayb kasta oo ka mid ah qaybaha gradient gaar ahaan tiro go'an sida [-5, 5], laakiin waxay maroorin kartaa jihada cusboonaysiinta. Gooobiddu waxay lama huraan u tahay RNN-yada iyo LSTM-yada, halkaas oo gradients qarxinta ay ku badan yihiin, waana shay caalami ah oo u dhow tababarka moodooyinka luqadaha, halkaas oo dufcad xun marmar ama calaamado naadir ah ay haddii kale soo saari karaan koronto lumis iyo NaNs.
Dhaqangelinta Adduunka-dhabta ah
Tababarka LSTM ee jiilka qoraalka, injineerku wuxuu dejiyaa clipnorm=1.0 sidaa darteed dufcadaha qarxa ee dhifka ah kama leexiyaan waxbarashada.
Tababarka qaabka luqadda wayn waxa uu wadaa ku dhawaad si caalami ah loo gooyo jaangooyooyinka caalimka ah (badanaa ilaa 1.0) si loo xakameeyo xadhkaha goosashada.
DP-SGD waxay ku dhejisaa jaan-goynta tusaale kasta heer go'an ka hor intaysan ku darin buuqa Gaussian, iyadoo fulinaysa dammaanad kala duwanaansho gaar ah oo rasmi ah.
Dhakhtarka daawashada xadhkaha goosashada ee TensorBoard waxa uu hoos u dhigaa marinka duubista iyo qaloocadu waxa ay noqotaa mid siman oo deggan.
Mustaqbalka Goynta Gradient
Jeexitaanka ayaa weli ah mid aan ku haboonayn ku dhawaad cunto karinta tababarka baaxadda weyn sababtoo ah waa mid raqiis ah oo adag. Cilmi-baadhistu waxay ku sifaynaysaa qorshayaal la-qabsi ah oo si toos ah u dejinaya marinka laga soo bilaabo tira-koobkii ugu dambeeyay halkii ay ka ahaan lahayd qiime go'an oo gacanta lagu hagaajiyay, iyo iyadoo la raacayo lakab kasta ama iskudubarid-xikmad leh. Goynta gradient sidoo kale waxay taageertaa tababbarka gaarka ah ee kala duwan (DP-SGD), halkaasoo tusaale ahaan gooyntu ay xaddidayso saamaynta muunad kasta si qaylada la cabbiray ay dammaanad qaadi karto sirnimada iyada oo aan wax rikoodh ahi xukumin moodeelka.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Gradient Clipping quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Goynta Gradient?
Ilaalo fudud, oo si weyn loo isticmaalo oo koobaysa sida cusboonaysiinta gradient-ku ay heli karto inta lagu jiro tababarka. Waxay ka hortagtaa hal casriyeyn oo weyn inuu khalkhal geliyo ama burburiyo moodalka, gaar ahaan noocyada soo noqnoqda iyo luqadaha.
Muxuu gooyn-si-caadiyan-gooynta ugu horrayn u ilaalinayaa iyadoo la xaddidayo cusboonaysiinta?
Clip-by-caadiga ah miisaanka dhammaan jaranjaro isku mid ah, sidaas darteed jihada u rogmada waa la ilaaliyaa iyadoo dhererka tallabada kaliya la daboolay.
Sida caadiga ah clip-by-caadiga ah ee leh marinka c, maxaa dhacaya marka heerka gradient g_norm uu dhaafo c?
Marka heerka caadiga ahi aad u weyn yahay, gradient kasta waxaa dib loo cabiraa c/g_norm markaas caadada ka soo baxdaa waxay la mid tahay heerka c.
Dhibaato noocee ah ayaa si tartiib tartiib ah loo gooyay si gaar ah loogu talagalay in lala dagaallamo?
Goojintu waxay xaddidaysaa baaxadda cusboonaysiinta, iyadoo si toos ah uga hortagaysa tillaabooyinka waaweyn, ee aan xasilloonayn ee ay keento jaranjarooyinka qarxa.
Sidee buu-qiimuhu uga duwan yahay kilib-ilaa-caadi?
Clip-by-value wuxuu ku dhejiyaa shay kasta meel go'an sida [-5,5]; sababtoo ah qaybaha si madax banaan ayaa loo gooyay, jihada guud ayaa isbedeli karta.
A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
Norm clipping multiplies all components by a shared factor when the total norm is too large, limiting update magnitude.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan