Ratiba za Kuongeza joto na Cosine
Warmup hupunguza kwa upole kiwango cha kujifunza kutoka karibu na sifuri kabla ya mafunzo, kisha uwekaji wa kosine huiozesha chini kufuatia mkunjo wa cosine.
Muhtasari
Together they stabilize early training and squeeze out better final accuracy, which is why nearly every modern transformer is trained this way.
Dive ya kina
Wakati mafunzo yanapoanza, uzani wa modeli ni wa nasibu na gradient inaweza kuwa kubwa, kwa hivyo kuruka moja kwa moja hadi kiwango kikubwa cha kujifunza mara nyingi husababisha ongezeko la hasara au tofauti - hasa kwa viboreshaji vinavyobadilika kama vile Adam, ambaye makadirio yake ya tofauti hayategemeki katika hatua za kwanza. Warmup hurekebisha hili kwa kuongeza kasi kwa mstari zaidi ya hatua mia chache hadi elfu chache. Pindi tu muundo unaposimama, uwekaji wa kosine huchukua nafasi, na kuoza kasi kama 0.5 * (1 + cos(pi * t / T)) ya kilele chake. Umbo la cosine huweka kasi ya juu mapema kwa maendeleo ya haraka, kisha hurahisisha hatua kwa hatua ili kiboreshaji kiweze kutulia kwa kiwango cha chini zaidi badala ya kukizunguka.
Ufahamu wa Kiufundi
Cosine annealing mizani ya kiwango cha kujifunza kwa 0.5 * (1 + cos(pi * t / T)), ambapo t ni hatua ya sasa na T ni jumla. Hii hutumia muda mrefu karibu na kiwango cha kilele, huoza kwa kasi zaidi katikati, kisha husonga karibu na sufuri mwishoni - tofauti na uozo wa mstari ulionyooka. Warmup kawaida ni ya mstari na fupi. Mviringo uliounganishwa unaonekana kama kilima laini: juu, tambarare, kisha mtelezo laini hadi karibu sufuri.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Ratiba za Kuongeza joto na Cosine
Warmup-plus-cosine inasalia kuwa kichocheo chaguomsingi cha miundo mikubwa ya lugha, lakini vibadala vinaenea. Warmup-stable-decay (WSD) huweka kasi isiyobadilika kisha kuoza kwa kasi mwishoni, na kuifanya iwe rahisi kupanua mikimbio bila kujitolea tena kwa urefu uliowekwa. Watafiti pia wanasoma ni kwa nini warmup inafanya kazi - kuiunganisha na kelele ya upinde rangi na mpindano wa mazingira - na zana zinazidi kurekebisha urefu wa kiotomatiki wa joto na kiwango cha kilele, kupunguza jaribio-na-kosa la mwongozo ambalo linatawala leo.
Utekelezaji wa Ulimwengu Halisi
Miundo ya lugha ya mtindo wa GPT na mtindo wa BERT hutumia uongezaji joto wa mstari juu ya hatua ~1-2% ya kwanza ikifuatiwa na kuoza kwa cosine hadi karibu sifuri.
Treni ya Vision Transfoma (ViT) yenye annealing ya cosine na joto fupi ili kuzuia tofauti za mapema kwenye ImageNet.
Hugging Face Transformers inatoa `get_cosine_schedule_with_warmup` kama kipanga ratiba cha mstari mmoja kwa kazi za kurekebisha vizuri.
Usambazaji Imara na miundo mingine ya uenezaji rekebisha vyema kwa upashaji joto ili kuzuia milipuko ya upinde rangi unaporekebisha uzani uliozoezwa awali.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Warmup and Cosine Annealing Schedules quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Sharpness-Aware Minimization
Maswali yanayoulizwa mara kwa mara
What is Warmup and Cosine Annealing Schedules?
Warmup hupunguza kwa upole kiwango cha kujifunza kutoka karibu na sifuri kabla ya mafunzo, kisha uwekaji wa kosine huiozesha chini kufuatia mkunjo wa cosine. Kwa pamoja wao huimarisha mafunzo ya mapema na kufinya usahihi bora wa mwisho, ndiyo maana karibu kila transfoma ya kisasa imefunzwa kwa njia hii.
Kusudi kuu la awamu ya joto mwanzoni mwa mafunzo ni nini?
Kuanzia kwa kiwango kikubwa cha kujifunza kwenye uzani nasibu kunaweza kusababisha ongezeko la hasara au tofauti, kwa hivyo joto huongeza kasi kwa upole ili kuweka hatua za mapema kuwa thabiti.
Cosine annealing huharibika kiwango cha kujifunza kufuatia umbo gani?
Kiwango hicho hupunguzwa kwa 0.5 * (1 + cos(pi * t / T)), huzalisha kilima laini ambacho hukaa juu mapema na kuteleza hadi karibu na sifuri mwishoni.
Ni kiboreshaji kipi hasa kinanufaika na joto kwa sababu makadirio yake ya tofauti si ya kutegemewa mapema?
Makadirio ya utofauti wa uendeshaji wa Adam yanatokana na sampuli chache sana katika hatua za kwanza, na kufanya saizi ya hatua madhubuti kuwa isiyo sawa - warmup hupunguza hii.
Katika fomula ya cosine, T inawakilisha nini?
T ni upeo wa macho ambao kiwango hicho huharibika kutoka kilele chake hadi karibu na sifuri; t ni hatua ya sasa ndani ya upeo huo.
Ni faida gani moja ya lahaja ya warmup-stable-decay (WSD) juu ya cosine ya urefu usiobadilika?
WSD hushikilia kiwango kisichobadilika kisha kuoza sana mwishoni, kwa hivyo unaweza kuweka awamu thabiti kwenda kwa muda mrefu na kuamua mahali pa kusimama baadaye.