SwiGLU ati Awọn iṣẹ ṣiṣe Gated
SwiGLU jẹ iṣẹ imuṣiṣẹ gated ti o ṣe isodipupo isọsọ laini kan ti titẹ sii nipasẹ isọtẹlẹ-mimuṣiṣẹ Swish kan, ti n ṣiṣẹ bi ohun kikọ, ẹnu-ọna ti o gbẹkẹle data inu awọn ipele ifunni-siwaju.
Akopọ
Nigbagbogbo o mu didara awoṣe ede dara si, eyiti o jẹ idi ti o fẹrẹ to gbogbo LLM igbalode nlo o.
Jin Dive
Bulọọki ifunni-iwaju oniyipada boṣewa jẹ awọn fẹlẹfẹlẹ laini meji pẹlu ReLU tabi GELU laarin. Awọn ẹka Linear Gated, ti a dabaa nipasẹ Dauphin et al. ni 2016, pin iṣiro akọkọ si awọn ida meji ki o lo idaji kan si ẹnu-bode ekeji nipasẹ isodipupo ọgbọn-ero. SwiGLU, ti o gbajumọ nipasẹ Noam Shazeer ni ọdun 2020, nlo iṣẹ Swish (SiLU) fun ẹnu-ọna yẹn: iṣẹjade = (Swish(xW) * (xV)) W2, pẹlu awọn matiri iwuwo mẹta dipo meji. Gating jẹ ki nẹtiwọọki nẹtiwọọki yiyan kọja tabi tẹ alaye fun iwọn kan. Nitori fifi matrix kẹta dagba awọn paramita, awọn imuse dinku iwọn ti o farapamọ si aijọju meji-meta nitoribẹẹ lapapọ iṣiro duro ni afiwe si GELU MLP kan. Awọn adanwo Shazeer ṣe afihan awọn anfani rudurudu iwọnwọn, ati LLAMA, PaLM, ati Mistral ni gbogbo wọn gba.
Imọ-imọ-ẹrọ
Swish jẹ x * sigmoid(beta * x), didan, iṣẹ ti kii ṣe monotonic eyiti, ko dabi ReLU, ngbanilaaye awọn iye odi kekere nipasẹ. Ni SwiGLU ẹka 'bode' Swish(xW) ṣe agbejade awọn iye ti o sunmọ 0 tabi 1 ti o ṣe isodipupo ẹka 'iye' xV eroja-ọlọgbọn, nitorinaa idasi ẹyọkan ti o farapamọ jẹ iyipada nipasẹ kikọ ẹkọ, ifihan agbara ti o gbẹkẹle titẹ sii. Matrix iwuwo kẹta jẹ idiyele; awọn meji-meta farasin-iwọn omoluabi ntọju FLOP isuna ti baamu si a fanila kikọ sii Layer.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti SwiGLU ati Awọn iṣẹ ṣiṣe Gated
SwiGLU ti fidi si bi MLP aiyipada ni LLMs iwuwo-ìmọ ati pe ko ṣeeṣe lati wa nipo laipẹ. Awọn itọnisọna ti nṣiṣe lọwọ pẹlu GeGLU ati awọn iyatọ ReGLU, awọn kernel GPU ti o dapọ ti o ṣe iṣiro awọn asọtẹlẹ mejeeji ni iwe-iwọle kan, ati apapọ awọn MLPs gated pẹlu awọn alamọja-adapọ ki amoye kọọkan jẹ ararẹ di SwiGLU Àkọsílẹ. Awọn oniwadi tun n ṣe iwadi idi ti gating ṣe iranlọwọ iṣapeye, ni ero lati ṣe apẹrẹ paapaa awọn ilẹkun ti o din owo.
Real-World imuse
LLAMA, PaLM, ati Mistral rọpo ipele ifunni-siwaju GELU pẹlu SwiGLU lati dinku idamu ni iṣiro dogba
Iwọn ti o farapamọ jẹ iwọn si bii meji-meta (8/3 d) nitorinaa matrix gating afikun ko ni fa awọn FLOPs
Awọn awoṣe adapọ-ti-amoye bii Mixtral lo awọn bulọọki SwiGLU bi nẹtiwọọki kikọ-ilọsiwaju-iwé-kọọkan.
Iran ati multimodal Ayirapada yiya GeGLU/SwiGLU gating lati mu wọn MLP sublayers
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the SwiGLU and Gated Activations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Imuṣiṣẹ atunkọ Iṣiro Tradeoffs
Awọn ibeere ti a beere nigbagbogbo
Kini SwiGLU ati Gated Activations?
SwiGLU jẹ iṣẹ imuṣiṣẹ gated ti o ṣe isodipupo isọsọ laini kan ti titẹ sii nipasẹ isọtẹlẹ-mimuṣiṣẹ Swish kan, ti n ṣiṣẹ bi ohun kikọ, ẹnu-ọna ti o gbẹkẹle data inu awọn ipele ifunni-siwaju. O ṣe ilọsiwaju didara ede-apẹrẹ nigbagbogbo, eyiti o jẹ idi ti gbogbo LLM ode oni lo.
Iṣe mojuto wo ni asọye Ẹka Linear Gated kan?
GLU kan ṣe isodipupo iye kan nipasẹ ipin asọtẹlẹ ẹnu-ọna-ọlọgbọn, jẹ ki alaye iṣakoso nẹtiwọọki nṣan ni iwọn kan.
Iṣẹ imuṣiṣẹ wo ni SwiGLU lo fun ẹka ẹnu-ọna rẹ?
SwiGLU nlo Swish, ti a tun pe ni SiLU, ti a ṣalaye bi x * sigmoid(beta*x), fun ẹka gating.
Awọn matiri iwuwo iwuwo melo ni idinaki ifunni siwaju SwiGLU lo?
SwiGLU nilo awọn matiriṣi mẹta: asọtẹlẹ ẹnu-ọna, iṣiro iye, ati asọtẹlẹ iṣelọpọ.
Kini idi ti iwọn ti o farapamọ ṣe deede iwọn si bii ida meji ninu mẹta ni awọn fẹlẹfẹlẹ SwiGLU?
Matrix kẹta yoo bibẹẹkọ ṣe iṣiro iṣiro, nitorinaa idinku iwọn ti o farapamọ si aijọju 8/3 d jẹ ki isuna naa baamu.
Tani o gbakiki SwiGLU fun awọn ipele ifunni-ilọsiwaju ni 2020?
Akọsilẹ Noam Shazeer's 2020 'GLU Variants Imudara Transformer' ṣe afihan SwiGLU ati ṣafihan awọn anfani idamu rẹ.