MWONGOZO wa Kiufundi
Upunguzaji wa Gradient
Kinga rahisi, kinachotumika sana ambacho hufunika jinsi masasisho makubwa ya upinde rangi yanaweza kupatikana wakati wa mafunzo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It prevents a single huge update from destabilizing or destroying a model, especially in recurrent and language models.
Dive ya kina
Upunguzaji gradient huweka mipaka ya ukubwa wa kipenyo kabla ya kiboreshaji kuitumia. Fomu inayojulikana zaidi ni klipu-kwa-kawaida: unakokotoa jumla ya kawaida ya L2 ya vipenyo vyote, na ikiwa inazidi kizingiti kilichochaguliwa, unapunguza kila kipenyo chini kwa kipengele sawa ili kawaida iwe sawa na kizingiti. Hii huhifadhi mwelekeo wa sasisho huku ikipunguza ukubwa wake. Lahaja rahisi zaidi, klipu-kwa-thamani, hubana tu kila kijenzi mahususi cha upinde rangi kwenye masafa yasiyobadilika kama [-5, 5], lakini inaweza kupotosha mwelekeo wa sasisho. Kupunguza ni muhimu katika RNN na LSTM, ambapo viwango vya mlipuko ni vya kawaida, na ni kiungo cha karibu kote katika kufunza miundo mikubwa ya lugha, ambapo mafungu mabaya ya mara kwa mara au tokeni adimu zinaweza kutoa miiba ya hasara na NaNs.
Utekelezaji wa Ulimwengu Halisi
Kufunza LSTM kwa ajili ya utengenezaji wa maandishi, mhandisi huweka clipnorm=1.0 ili bechi adimu zinazolipuka zisikatishe masomo.
Mafunzo ya modeli ya lugha kubwa hutekeleza takriban kawaida ya upinde rangi duniani kote (mara nyingi hadi 1.0) ili kukandamiza ongezeko la hasara.
DP-SGD huweka kipenyo cha kila mfano hadi kwa kawaida maalum kabla ya kuongeza kelele ya Gaussian, ikitekeleza dhamana rasmi ya utofautishaji wa faragha.
Mtaalamu anayetazama ongezeko la hasara katika TensorBoard hupunguza kizingiti cha klipu na mkunjo unakuwa laini na dhabiti.
Mustakabali wa Upunguzaji wa Gradient
Kupunguza kunasalia kuwa chaguo-msingi katika takriban kila kichocheo cha mafunzo ya kiwango kikubwa kwa sababu ni cha bei nafuu na thabiti. Utafiti unaiboresha kwa mbinu zinazoweza kubadilika ambazo huweka kizingiti kiotomatiki kutoka kwa takwimu za hivi majuzi za upinde rangi badala ya thamani isiyobadilika iliyopangwa kwa mkono, na kwa kukatwa kwa safu kwa kila safu au kuratibu. Upunguzaji wa gradient pia huzingatia mafunzo ya kibinafsi tofauti (DP-SGD), ambapo upunguzaji kwa kila mfano huweka mipaka ya ushawishi wa kila sampuli ili kelele iliyorekebishwa iweze kuhakikisha faragha bila rekodi yoyote kutawala kielelezo.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Gradient Clipping quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Gradient Clipping?
Kinga rahisi, kinachotumika sana ambacho hufunika jinsi masasisho makubwa ya upinde rangi yanaweza kupatikana wakati wa mafunzo. Inazuia sasisho moja kubwa kutoka kwa kudhoofisha au kuharibu muundo, haswa katika miundo ya kawaida na ya lugha.
Je, upunguzaji wa klipu kwa-kawaida huhifadhi nini hasa wakati unazuia sasisho?
Klipu-kwa-kawaida hupanga mizani yote kwa kipimo sawa, kwa hivyo mwelekeo wa mteremko huhifadhiwa huku urefu wa hatua pekee ukifungwa.
Katika klipu-kwa-kawaida na kizingiti c, nini hufanyika wakati kawaida ya gradient g_norm inazidi c?
Wakati kawaida ni kubwa sana, kila kipenyo kinapunguzwa kwa c/g_norm hivyo kawaida inayotokana ni sawa na kizingiti c.
Ni shida gani ambayo upunguzaji wa upinde rangi umeundwa mahsusi kupambana?
Upigaji picha huweka ukubwa wa masasisho, huzuia moja kwa moja hatua kubwa zisizo imara zinazosababishwa na viwango vya juu vinavyolipuka.
Je, klipu-kwa-thamani inatofautiana vipi na klipu-kwa-kawaida?
Klipu-kwa-thamani hubana kila kipengele katika fungu lisilobadilika kama vile [-5,5]; kwa sababu vipengele vimekatwa kwa kujitegemea, mwelekeo wa jumla unaweza kuhama.
A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
Norm clipping multiplies all components by a shared factor when the total norm is too large, limiting update magnitude.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii