HAGAHA Farsamada
Burburinta iyo Qarxinta Gradients
Marka la tababarayo shabakadaha qoto dheer, calaamadaha khaladku waxay ku soo qulqulaan eber ama waxay u qarxiyaan ilaa xad la'aanta markay dib ugu socdaan lakabyo badan.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
This makes deep and recurrent models painfully slow or impossible to train without specific fixes.
quusid qoto dheer
Shabakadaha neerfaha waxay wax ku bartaan faafinta dhabarka, taas oo lakabka ku dhufata lakabka gradients iyadoo la isticmaalayo xeerka silsiladda. Marka aad isku dhejiso lakabyo badan, arrimahaas lakabka ah ayaa la isku dhufan doona. Haddii arrin kasta ay si joogto ah uga yar tahay 1, alaabtu aad bay u yaraanaysaa lakabyada horena si dhib leh ayay u cusboonaysiiyaan - dhibaatada isbiirsiga ee sii dhammaanaysa. Haddii arrin kasta ay ka weyn tahay 1, alaabtu way qaraxdaa, iyada oo soo saarta cusboonaysiin aan degganayn ama qiimaha NaN. Dhaqdhaqaaqyada qoyan sida sigmoid iyo tanh, kuwaas oo soosaarkoodu ka sarreeyaa 0.25 iyo 1, waa dembiilayaal caadi ah. Arrintu waxay aad ugu daran tahay shabaqyada wax-soo-jeedinta qoto dheer iyo shabakadaha soo noqnoqda (RNNs) ee socodsiinta taxanaha dheer, halkaas oo miisaan isku mid ah lagu celceliyo mar kasta, taasoo sii kordhinaysa saamaynta si wayn.
Dhaqangelinta Adduunka-dhabta ah
Moodooyinka hore ee luqadaha RNN waxay ku dhibtooday inay ku xidhaan kelmado jumlado dhaadheer ah sababtoo ah jaangooyooyinka ayaa lumay wakhtiyo badan, dhiirigelinaya LSTMs iyo GRUs.
ResNet waxay karti u siisay tababbarka 100+ kalasoocida sawirka lakabka iyadoo ku daraysa isku xidhka boodada ee siiya jaranjarooyinka dariiq toosan, oon dib loo dhigin.
Horumariyuhu wuxuu u arkaa luminta tababarku inuu si lama filaan ah u noqdo NaN - calaamad muujinaysa jaranjarooyinka qarxa - oo ku dara jaranjarada gradient si loo dejiyo.
Aaladaha la socodka ee PyTorch ama TensorFlow jaangooyooyinka jaangooyooyinka lakabka kasta si ay injineeradu u ogaadaan lakabka jaranjarooyinka ay ku dumeen ilaa eber.
Mustaqbalka Burburinta iyo Qarxinta Dabaqadaha
Yaraynta xudunta u ah - isku xidhka hadhaaga (boodboodka) isku xidhka, caadi ka dhigista, gating, iyo bilawga taxadir leh - hadda waa heer, sidaa awgeed jaanisyada baaba'a waa dhif inay xannibaan tababarka qaab dhismeedka casriga ah. Transformers waxay dhinac mariyaan isku-darka soo noqnoqda oo dhan iyagoo isticmaalaya fiiro gaar ah oo taxane ah halkii ay ku celcelin lahaayeen hal shay. Cilmi-baadhistu waxay ku sii socotaa shabakadaha tababarka kumanaan lakab oo qoto dheer, oo ku saabsan moodooyinka mawduuca aadka u dheer ee deggan, iyo qalabyada aragtida sida kernel tangent neural ee saadaaliya faafinta calaamadaha ka hor inta aan hal tallaabo oo tababar ah dhicin.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Vanishing and Exploding Gradients quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is Vanishing and Exploding Gradients?
Marka la tababarayo shabakadaha qoto dheer, calaamadaha khaladku waxay ku soo qulqulaan eber ama waxay u qarxiyaan ilaa xad la'aanta markay dib ugu socdaan lakabyo badan. Tani waxay ka dhigaysa moodooyinka qoto dheer iyo soo noqnoqda si xanuun leh oo gaabis ah ama aan macquul ahayn in la tababaro iyada oo aan la hagaajin gaar ah.
Hawlgalkee xisaabeed ee dib-u-faafintu waa sababta asaasiga ah ee luminta iyo qarxinta gradients?
Faafinta dib-u-celinta waxay khusaysaa qaanuunka silsiladda, iyadoo la isku dhufto arrimo badan oo lakab kasta ah; Alaabooyinka qiyamka ah ee ka hooseeya 1 way baaba'aan iyo alaabada ka badan 1 way qarxaan.
Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
Sigmoid and tanh derivatives can be small in saturated regions; repeated multiplication across depth or time can shrink early-layer gradients.
Nashqadadee ayaa sida ba'an u saamaysay dhibaatooyinka isjiid jiidka ee taxanaha dheer?
RNN waxa uu mar kale codsadaa jaantuska miisaanka soo noqnoqda ee mar kasta, sidaa daraadeed isku xigxiga dheer saamaynta isku xidhka sida eigenvalue matrix-ka ayaa kor loogu qaaday dhererka isku xigxiga.
Aragtida luminta tababbarka si lama filaan ah isu rogtay NaN waxay u badan tahay inay tusinayso dhibkee?
Qalabyada qarxa waxay soo saaraan casriyeyn aad u weyn oo buux dhaafiya ilaa xad la'aan ama NaN; gradients-ka baaba'a taa beddelkeeda waxay keenaysaa khasaare joogsi.
Sidee bay isku xirnaanta hadhaaga (boodboodka) u caawiyaan jajabinta baaba'a?
Xidhiidhada bood waxay ku daraan dariiqa aqoonsiga si gradients-ku gadaal ugu qulqulaan iyada oo aan lagu celcelin lakabyo dhexdhexaad ah.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan