Up tókànItọsọna atẹle
RMSNorm ati Iṣatunṣe Iṣe-Layer
Imọ-ẹrọ
Imọ Itọsọna
Layer Deede
Iṣe deede Layer ṣe idaduro ikẹkọ nipasẹ atunkọ awọn iṣẹ ṣiṣe laarin apẹẹrẹ kọọkan ki wọn ni arosọ odo ati iyatọ ẹyọkan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It is a quiet but essential ingredient that makes deep transformers trainable.
Jin Dive
Agbekale nipasẹ Ba, Kiros, ati Hinton ni 2016, Layer normalization (LayerNorm) koju iṣoro naa ti awọn imuṣiṣẹ inu nẹtiwọọki ti o jinlẹ le lọ si awọn irẹjẹ ti o yatọ pupọ bi awọn ifihan agbara ti n kọja nipasẹ ọpọlọpọ awọn ipele, fa fifalẹ tabi destabilizing ẹkọ. Ko dabi isọdọtun ipele, eyiti o ṣe deede ẹya kọọkan kọja awọn apẹẹrẹ ni ipele kekere kan, LayerNorm ṣe deede kọja awọn ẹya ti apẹẹrẹ kan. Eyi jẹ ki o ni ominira ti iwọn ipele ati pe o jẹ lilo deede ni ikẹkọ ati itọka, ati pe o ṣiṣẹ nipa ti ara pẹlu awọn ọna gigun-iyipada, eyiti o jẹ idi ti o fi di idiwọn fun awọn oluyipada ti n ṣe agbara awọn awoṣe ede ode oni. Lẹhin ti o ṣe deede, o kan iwọn ti o le kọ ẹkọ (gamma) ati iyipada (beta) nitorina nẹtiwọki le gba eyikeyi aṣoju ti o nilo pada.
Real-World imuse
Iduroṣinṣin gbogbo bulọọki transformer ni awọn awoṣe ede bii GPT ati BERT.
Muu RMSNorm ṣiṣẹ bi yiyan isọdọtun fẹẹrẹfẹ inu awọn awoṣe idile Llama.
N ṣe deede data itọsẹ-ipari oniyipada ninu ọrọ ọrọ ati awọn awoṣe itumọ nibiti awọn iwọn ipele ti yato.
Gbigba ikẹkọ igbẹkẹle pẹlu iwọn ipele ti ọkan, gẹgẹbi ni diẹ ninu awọn iṣeto ikẹkọ iranlọwọ.
Ojo iwaju ti deede Layer
Iṣe deede jẹ ṣiṣatunṣe fun ṣiṣe ni iwọn. RMSNorm ti rọpo LayerNorm pupọ ni awọn awoṣe ede nla tuntun nitori pe o din owo ati pe o ṣiṣẹ gẹgẹ bi daradara, ati pe gbigbe ipo-iṣaaju jẹ aiyipada ni bayi fun awọn akopọ ti o jinlẹ pupọ. Awọn oniwadi tẹsiwaju lati ṣawari awọn ile-iṣẹ ti ko ni isọdi deede ti o lo ibẹrẹ iṣọra tabi awọn ẹtan igbelosoke dipo, ni ero lati ge si oke lakoko titọju iduroṣinṣin ikẹkọ ti deede pese.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Layer Normalization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Layer Normalization?
Iṣe deede Layer ṣe idaduro ikẹkọ nipasẹ atunkọ awọn iṣẹ ṣiṣe laarin apẹẹrẹ kọọkan ki wọn ni arosọ odo ati iyatọ ẹyọkan. O jẹ ohun elo ti o dakẹ ṣugbọn pataki ti o jẹ ki awọn oluyipada jinlẹ jẹ ikẹkọ.
Kọja kini isọdọtun Layer ṣe iṣiro itumọ rẹ ati iyatọ?
LayerNorm ṣe deede lori awọn iwọn ẹya ara ẹrọ ti apẹẹrẹ kọọkan, ṣiṣe ni ominira ti awọn apẹẹrẹ miiran ninu ipele naa.
Kini idi ti isọdọtun Layer ṣe fẹ ju isọdọtun ipele ni awọn oluyipada?
Nitori awọn iṣiro rẹ wa lati apẹẹrẹ ẹyọkan, LayerNorm huwa ni igbagbogbo laibikita iwọn ipele ati pe o baamu awọn ilana ọrọ gigun-iyipada.
Kini awọn aye ti o kọ ẹkọ gamma ati beta jẹ ki LayerNorm ṣe?
Lẹhin ti o ṣe deede si iwọn odo ati iyatọ ẹyọkan, awọn iwọn gamma ati beta yi abajade pada ki awoṣe ko ba fi agbara mu sinu pinpin ti o wa titi.
Bawo ni RMSNorm ṣe yatọ si LayerNorm boṣewa?
RMSNorm yọkuro igbesẹ aarin-itumọ ati awọn irẹjẹ nipasẹ gbongbo-tumosi-square ti awọn imuṣiṣẹ, eyiti o din owo ati lilo ninu awọn awoṣe bii Llama.
Isoro wo ni Layer normalization nipataki ran yanju ni jin nẹtiwọki?
Bi awọn ifihan agbara ti n kọja nipasẹ ọpọlọpọ awọn ipele iwọn wọn le fẹ soke tabi dinku; isọdọtun ntọju awọn iṣẹ ṣiṣe ni iwọn iduroṣinṣin nitoribẹẹ awọn gradients huwa daradara.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii