Imọ Itọsọna
RMSNorm ati Iṣatunṣe Iṣe-Layer
RMSNorm jẹ fẹlẹfẹlẹ deede iwuwo fẹẹrẹ ti o ṣe atunṣe awọn iṣẹ ṣiṣe nipasẹ onigun mẹrin tumọ root wọn, ati awọn aaye isọdi-tẹlẹ-Layer ti o ṣe igbesẹ ṣaaju sublayer kọọkan ju lẹhin.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Papọ wọn jẹ ki awọn oluyipada jinlẹ ṣe ikẹkọ ni iduroṣinṣin laisi awọn ẹtan igbona.
Jin Dive
Standard LayerNorm yọkuro iwọntunwọnsi ati pin nipasẹ iyapa boṣewa kọja fekito ẹya kan, lẹhinna lo iwọn ti a kọ ati iyipada. RMSNorm, ti a ṣafihan nipasẹ Zhang ati Sennrich ni ọdun 2019, ṣubu aarin-itumọ ati aibikita patapata: o rọrun pin ipin kọọkan nipasẹ ipilẹ tumọ si onigun mẹrin ti awọn eroja rẹ ati isodipupo nipasẹ ere ti ẹya-ara ti kọ ẹkọ. Eyi yọkuro iṣiro kan ati ọpọlọpọ awọn iṣẹ ṣiṣe, gige iṣiro nipasẹ aijọju 10-50% ni ipele iwuwasi lakoko ti o baamu deede. Lọtọ, ipo 'Pre-LN' (iwuwasi ṣaaju akiyesi/MLP, pẹlu ọna aloku ti o mọ ni ayika rẹ) jẹ ki awọn iwọn gradient di opin ni ibẹrẹ, nitorinaa awọn awoṣe bii GPT-3, LLAMA, ati PaLM ọkọ oju irin laisi awọn hakii igbona-oṣuwọn ẹkọ ti atilẹba Post-LN transformer nilo.
Real-World imuse
LLAMA, Mistral, ati Qwen gbogbo ropo LayerNorm pẹlu RMSNorm lati fá airotẹlẹ inferan lori gbogbo ami
Pre-LN jẹ ki awọn awoṣe ara GPT ṣe ikẹkọ laisi igbona-oṣuwọn ẹkọ ti oluyipada Post-LN 2017 nilo
QK-normalization nlo RMSNorm lori awọn ibeere akiyesi ati awọn bọtini lati da awọn logits duro lati gbamu ni awọn awoṣe nla.
Alagbeka ati awọn oluyipada eti gba RMSNorm nitori jisilẹ tumọ ati ojuṣaaju dinku ijabọ iranti
Ojo iwaju ti RMSNorm ati Iṣatunṣe Iṣe-Layer
RMSNorm ni bayi aiyipada ni ọpọlọpọ iwuwo-ìmọ LLMs (LLaMA, Mistral, Qwen, Gemma), nitorinaa nireti pe ki o wa ni idiwọn. Iwadi n ṣe atunṣe ohunelo naa: QK-norm kan RMSNorm si awọn ibeere akiyesi ati awọn bọtini lati ṣe idagbasoke idagbasoke logit, ati pe diẹ ninu awọn laabu ṣopọpọ ṣaaju ati lẹhin iwuwasi ('sandwich' tabi 'peri-LN') fun imuduro afikun ni iwọn trillion-parameter. Awọn ekuro ohun elo n tẹsiwaju lati dapọ iṣẹ ṣiṣe fun iyara.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Mu idanwo RMSNorm ati Pre-Layer Normaization
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini RMSNorm ati Iṣe deede Layer Pre-Layer?
RMSNorm jẹ fẹlẹfẹlẹ deede iwuwo fẹẹrẹ ti o ṣe atunṣe awọn iṣẹ ṣiṣe nipasẹ onigun mẹrin tumọ root wọn, ati awọn aaye isọdi-tẹlẹ-Layer ti o ṣe igbesẹ ṣaaju sublayer kọọkan ju lẹhin. Papọ wọn jẹ ki awọn oluyipada jinlẹ ṣe ikẹkọ ni iduroṣinṣin laisi awọn ẹtan igbona.
Kini RMSNorm yọkuro ni akawe si LayerNorm boṣewa?
RMSNorm fo iširo ati iyokuro awọn iwọn, deede nikan nipasẹ awọn root tumosi square ti awọn iṣẹ-ṣiṣe.
Nipa iye wo ni RMSNorm ṣe pin awọn fekito imuṣiṣẹ kọọkan?
RMSNorm pin nipasẹ sqrt ti iwọn awọn eroja onigun mẹrin, ie root tumọ onigun mẹrin, lẹhinna lo ere ti o kọ ẹkọ.
Ihuwasi gradient wo ni atilẹyin Pre-LN ni ibẹrẹ ni Awọn Ayirapada jinlẹ?
Xiong et al. itupalẹ ihuwasi gradient ki o si fi Pre-LN gradients ti wa ni dara huwa ni initialization; eyi ko ṣe iṣeduro ikẹkọ ọfẹ-ọfẹ fun gbogbo iṣeto.
Ni a Pre-LN Àkọsílẹ, ọna wo ni awọn normalization Layer koto fi untouched?
Pre-LN ṣe deede iṣagbewọle si sublayer ṣugbọn ọna abuja ti o ṣẹku kọja rẹ, titọju ọna opopona ti o mọ.
Awọn idile awoṣe-ìmọ iwuwo ode oni wo lo RMSNorm nipasẹ aiyipada?
RMSNorm di deede deede ni LLAMA, Mistral, Qwen, Gemma ati awọn LLM aipẹ julọ.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii