InayofuataMwongozo unaofuata
Urekebishaji wa Tabaka
Kiufundi
MWONGOZO wa Kiufundi
RMSNorm na Urekebishaji wa Awali wa Tabaka
RMSNorm ni safu nyepesi ya kuhalalisha ambayo hupunguza uanzishaji kwa msingi wa mraba wao, na urekebishaji wa safu ya awali huweka hatua mbele ya kila safu badala ya baada ya hapo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Together they make deep transformers train stably without warmup tricks.
Dive ya kina
LayerNorm ya Kawaida huondoa wastani na kugawanya kwa mkengeuko wa kawaida kwenye vekta ya kipengele, kisha kutumia mizani na mabadiliko yaliyofunzwa. RMSNorm, iliyoletwa na Zhang na Sennrich mwaka wa 2019, inapunguza maana na upendeleo kabisa: inagawanya kila vekta kwa mzizi wa mraba wa vipengele vyake na kuzidisha kwa faida iliyojifunza kwa kila kipengele. Hii huondoa takwimu moja na shughuli kadhaa, kukata hesabu kwa takriban 10-50% katika safu ya kawaida huku usahihi wa kulinganisha. Kando, uwekaji wa 'Pre-LN' (kawaida kabla ya umakini/MLP, iliyo na njia safi ya mabaki inayoizunguka) huweka viwango vya upinde rangi vikiwa na mipaka wakati wa kuanzishwa, kwa hivyo miundo kama vile GPT-3, LLaMA, na treni ya PaLM bila udukuzi wa kiwango cha kujifunza ambacho kibadilishaji badilishi cha awali cha Post-LN kilihitaji.
Utekelezaji wa Ulimwengu Halisi
LLaMA, Mistral, na Qwen zote hubadilisha LayerNorm na RMSNorm ili kunyoa ucheleweshaji wa uelekezaji kwenye kila ishara.
Pre-LN huruhusu miundo ya mtindo wa GPT ifunze bila joto la kiwango cha kujifunza ambalo kibadilishaji cha 2017 Post-LN kilihitaji.
Urekebishaji wa QK hutumia RMSNorm kwenye maswali ya umakini na funguo ili kuzuia kumbukumbu kulipuka katika miundo mikubwa.
Transfoma ya rununu na makali hupitisha RMSNorm kwa sababu kushuka kwa thamani na upendeleo hupunguza trafiki ya kumbukumbu
Mustakabali wa RMSNorm na Urekebishaji wa Awali wa Tabaka
RMSNorm sasa ndiyo chaguomsingi katika LLM nyingi za uzani huria (LLaMA, Mistral, Qwen, Gemma), kwa hivyo tarajia kubaki kiwango. Utafiti unaboresha kichocheo: Kawaida ya QK hutumika RMSNorm kwa hoja makini na funguo ili kudhibiti ukuaji wa kumbukumbu, na baadhi ya maabara huchanganya kabla na baada ya kawaida ('sandwich' au 'peri-LN') kwa uthabiti wa ziada kwa kipimo cha trilioni-parameta. Kernels za maunzi zinaendelea kuchanganya operesheni kwa kasi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the RMSNorm and Pre-Layer Normalization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is RMSNorm and Pre-Layer Normalization?
RMSNorm ni safu nyepesi ya kuhalalisha ambayo hupunguza uanzishaji kwa msingi wa mraba wao, na urekebishaji wa safu ya awali huweka hatua mbele ya kila safu badala ya baada ya hapo. Kwa pamoja wanafanya transfoma ya kina kufanya mazoezi kwa utulivu bila mbinu za joto.
Je, RMSNorm inaacha nini ikilinganishwa na LayerNorm ya kawaida?
RMSNorm inaruka kompyuta na kutoa wastani, ikirekebisha tu kwa msingi wa mraba wa kuwezesha.
Je, RMSNorm inagawanya kila vekta ya kuwezesha kwa kiasi gani?
RMSNorm hugawanya kwa sqrt ya wastani wa vipengee vya mraba, yaani, mzizi wa maana wa mraba, kisha itatumia faida iliyojifunza.
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
Katika kizuizi cha Pre-LN, ni njia gani ambayo safu ya urekebishaji huacha kwa makusudi bila kuguswa?
Pre-LN hurekebisha ingizo kwa safu ndogo lakini njia ya mkato iliyobaki inaipita, na kuhifadhi barabara kuu safi ya upinde rangi.
Ni familia zipi za kisasa za uzani wazi hutumia RMSNorm kwa chaguo-msingi?
RMSNorm ikawa uhalalishaji wa kawaida katika LLaMA, Mistral, Qwen, Gemma na LLM za hivi karibuni zaidi.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii