Layer Deede
Iṣe deede Layer ṣe idaduro ikẹkọ nipasẹ atunkọ awọn iṣẹ ṣiṣe laarin apẹẹrẹ kọọkan ki wọn ni arosọ odo ati iyatọ ẹyọkan.
Akopọ
It is a quiet but essential ingredient that makes deep transformers trainable.
Jin Dive
Agbekale nipasẹ Ba, Kiros, ati Hinton ni 2016, Layer normalization (LayerNorm) koju iṣoro naa ti awọn imuṣiṣẹ inu nẹtiwọọki ti o jinlẹ le lọ si awọn irẹjẹ ti o yatọ pupọ bi awọn ifihan agbara ti n kọja nipasẹ ọpọlọpọ awọn ipele, fa fifalẹ tabi destabilizing ẹkọ. Ko dabi isọdọtun ipele, eyiti o ṣe deede ẹya kọọkan kọja awọn apẹẹrẹ ni ipele kekere kan, LayerNorm ṣe deede kọja awọn ẹya ti apẹẹrẹ kan. Eyi jẹ ki o ni ominira ti iwọn ipele ati pe o jẹ lilo deede ni ikẹkọ ati itọka, ati pe o ṣiṣẹ nipa ti ara pẹlu awọn ọna gigun-iyipada, eyiti o jẹ idi ti o fi di idiwọn fun awọn oluyipada ti n ṣe agbara awọn awoṣe ede ode oni. Lẹhin ti o ṣe deede, o kan iwọn ti o le kọ ẹkọ (gamma) ati iyipada (beta) nitorina nẹtiwọki le gba eyikeyi aṣoju ti o nilo pada.
Imọ-imọ-ẹrọ
Fun ẹya fekito x, LayerNorm ṣe iṣiro iwọn ati iyatọ lori awọn eroja fekito yẹn, lẹhinna ṣe abajade gamma * (x - tumosi) / sqrt (iyatọ + epsilon) + beta. Nitori awọn iṣiro wa lati inu apẹẹrẹ kan, ihuwasi jẹ aami kan boya ipele naa ni awọn apẹẹrẹ 1 tabi 1000. Iyatọ ti o rọrun, RMSNorm, skips tumọ si iyokuro ati pin nikan nipasẹ root-tumosi-square, fifipamọ iṣiro; o ti lo ni awọn awoṣe bi Llama. Gbigbe tun ṣe pataki: 'ṣaaju-norm' (normalizing ṣaaju ki o to sublayer kọọkan) jẹ ki awọn Ayirapada jinlẹ rọrun pupọ lati ṣe ikẹkọ ju 'post-norm' lọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti deede Layer
Iṣe deede jẹ ṣiṣatunṣe fun ṣiṣe ni iwọn. RMSNorm ti rọpo LayerNorm pupọ ni awọn awoṣe ede nla tuntun nitori pe o din owo ati pe o ṣiṣẹ gẹgẹ bi daradara, ati pe gbigbe ipo-iṣaaju jẹ aiyipada ni bayi fun awọn akopọ ti o jinlẹ pupọ. Awọn oniwadi tẹsiwaju lati ṣawari awọn ile-iṣẹ ti ko ni isọdi deede ti o lo ibẹrẹ iṣọra tabi awọn ẹtan igbelosoke dipo, ni ero lati ge si oke lakoko titọju iduroṣinṣin ikẹkọ ti deede pese.
Real-World imuse
Iduroṣinṣin gbogbo bulọọki transformer ni awọn awoṣe ede bii GPT ati BERT.
Muu RMSNorm ṣiṣẹ bi yiyan isọdọtun fẹẹrẹfẹ inu awọn awoṣe idile Llama.
N ṣe deede data itọsẹ-ipari oniyipada ninu ọrọ ọrọ ati awọn awoṣe itumọ nibiti awọn iwọn ipele ti yato.
Gbigba ikẹkọ igbẹkẹle pẹlu iwọn ipele ti ọkan, gẹgẹbi ni diẹ ninu awọn iṣeto ikẹkọ iranlọwọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Layer Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
RMSNorm ati Iṣatunṣe Iṣe-Layer
Awọn ibeere ti a beere nigbagbogbo
What is Layer Normalization?
Iṣe deede Layer ṣe idaduro ikẹkọ nipasẹ atunkọ awọn iṣẹ ṣiṣe laarin apẹẹrẹ kọọkan ki wọn ni arosọ odo ati iyatọ ẹyọkan. O jẹ ohun elo ti o dakẹ ṣugbọn pataki ti o jẹ ki awọn oluyipada jinlẹ jẹ ikẹkọ.
Kọja kini isọdọtun Layer ṣe iṣiro itumọ rẹ ati iyatọ?
LayerNorm ṣe deede lori awọn iwọn ẹya ara ẹrọ ti apẹẹrẹ kọọkan, ṣiṣe ni ominira ti awọn apẹẹrẹ miiran ninu ipele naa.
Kini idi ti isọdọtun Layer ṣe fẹ ju isọdọtun ipele ni awọn oluyipada?
Nitori awọn iṣiro rẹ wa lati apẹẹrẹ ẹyọkan, LayerNorm huwa ni igbagbogbo laibikita iwọn ipele ati pe o baamu awọn ilana ọrọ gigun-iyipada.
Kini awọn aye ti o kọ ẹkọ gamma ati beta jẹ ki LayerNorm ṣe?
Lẹhin ti o ṣe deede si iwọn odo ati iyatọ ẹyọkan, awọn iwọn gamma ati beta yi abajade pada ki awoṣe ko ba fi agbara mu sinu pinpin ti o wa titi.
Bawo ni RMSNorm ṣe yatọ si LayerNorm boṣewa?
RMSNorm yọkuro igbesẹ aarin-itumọ ati awọn irẹjẹ nipasẹ gbongbo-tumosi-square ti awọn imuṣiṣẹ, eyiti o din owo ati lilo ninu awọn awoṣe bii Llama.
Isoro wo ni Layer normalization nipataki ran yanju ni jin nẹtiwọki?
Bi awọn ifihan agbara ti n kọja nipasẹ ọpọlọpọ awọn ipele iwọn wọn le fẹ soke tabi dinku; isọdọtun ntọju awọn iṣẹ ṣiṣe ni iwọn iduroṣinṣin nitoribẹẹ awọn gradients huwa daradara.