Akopọ
SwiGLU jẹ iṣẹ imuṣiṣẹ gated ti o ṣe isodipupo isọsọ laini kan ti titẹ sii nipasẹ isọtẹlẹ-mimuṣiṣẹ Swish kan, ti n ṣiṣẹ bi ohun kikọ, ẹnu-ọna ti o gbẹkẹle data inu awọn ipele ifunni-siwaju. O ṣe ilọsiwaju didara ede-apẹrẹ nigbagbogbo, eyiti o jẹ idi ti gbogbo LLM ode oni lo.
SwiGLU ati Awọn iṣiṣẹ Gated jẹ bulọọki ile imọ-ẹrọ ti o kan didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn.
Jin Dive
Bulọọki ifunni-iwaju oniyipada boṣewa jẹ awọn fẹlẹfẹlẹ laini meji pẹlu ReLU tabi GELU laarin. Awọn ẹka Linear Gated, ti a dabaa nipasẹ Dauphin et al. ni 2016, pin iṣiro akọkọ si awọn ida meji ki o lo idaji kan si ẹnu-bode ekeji nipasẹ isodipupo ọgbọn-ero. SwiGLU, ti o gbajumọ nipasẹ Noam Shazeer ni ọdun 2020, nlo iṣẹ Swish (SiLU) fun ẹnu-ọna yẹn: iṣẹjade = (Swish(xW) * (xV)) W2, pẹlu awọn matiri iwuwo mẹta dipo meji. Gating jẹ ki nẹtiwọọki nẹtiwọọki yiyan kọja tabi tẹ alaye fun iwọn kan. Nitori fifi matrix kẹta dagba awọn paramita, awọn imuse dinku iwọn ti o farapamọ si aijọju meji-meta nitoribẹẹ lapapọ iṣiro duro ni afiwe si GELU MLP kan. Awọn adanwo Shazeer ṣe afihan awọn anfani rudurudu iwọnwọn, ati LLAMA, PaLM, ati Mistral ni gbogbo wọn gba.
Imọ-imọ-ẹrọ
Swish jẹ x * sigmoid(beta * x), didan, iṣẹ ti kii ṣe monotonic eyiti, ko dabi ReLU, ngbanilaaye awọn iye odi kekere nipasẹ. Ni SwiGLU ẹka 'bode' Swish(xW) ṣe agbejade awọn iye ti o sunmọ 0 tabi 1 ti o ṣe isodipupo ẹka 'iye' xV eroja-ọlọgbọn, nitorinaa idasi ẹyọkan ti o farapamọ jẹ iyipada nipasẹ kikọ ẹkọ, ifihan agbara ti o gbẹkẹle titẹ sii. Matrix iwuwo kẹta jẹ idiyele; awọn meji-meta farasin-iwọn omoluabi ntọju FLOP isuna ti baamu si a fanila kikọ sii Layer.
Titunto si SwiGLU ati Awọn iṣẹ ṣiṣe Gated
SwiGLU jẹ iṣẹ imuṣiṣẹ gated ti o ṣe isodipupo isọsọ laini kan ti titẹ sii nipasẹ isọtẹlẹ-mimuṣiṣẹ Swish kan, ti n ṣiṣẹ bi ohun kikọ, ẹnu-ọna ti o gbẹkẹle data inu awọn ipele ifunni-siwaju. O ṣe ilọsiwaju didara ede-apẹrẹ nigbagbogbo, eyiti o jẹ idi ti gbogbo LLM ode oni lo. SwiGLU ati Awọn iṣiṣẹ Gated jẹ bulọọki ile imọ-ẹrọ ti o kan didara awoṣe, idiyele amayederun, lairi, ati igbẹkẹle ni iwọn. Lati kọ oye ti o jinlẹ, tọju SwiGLU ati Awọn iṣiṣẹ Gated bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati ya sọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo SwiGLU ati Awọn iṣiṣẹ Gated ṣe iṣapeye faaji, data, ati awọn yiyan amayederun lodi si igbẹkẹle ati idiyele. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni akoko kanna, Imudara iwọn ala kan le tọju awọn ailagbara eto to gbooro. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
LLAMA, PaLM, ati Mistral rọpo ipele ifunni-siwaju GELU pẹlu SwiGLU lati dinku idamu ni iṣiro dogba
Iwọn ti o farapamọ jẹ iwọn si bii meji-meta (8/3 d) nitorinaa matrix gating afikun ko ni fa awọn FLOPs
Awọn awoṣe adapọ-ti-amoye bii Mixtral lo awọn bulọọki SwiGLU bi nẹtiwọọki kikọ-ilọsiwaju-iwé-kọọkan.
Iran ati multimodal Ayirapada yiya GeGLU/SwiGLU gating lati mu wọn MLP sublayers
Awọn Ilana imuse
SwiGLU ati Awọn iṣiṣẹ Gated ni iṣe
LLAMA, PaLM, ati Mistral rọpo ipele ifunni-siwaju GELU pẹlu SwiGLU si idamu kekere ni iṣiro dogba.
LLAMA, PaLM, ati Mistral rọpo Layer ifunni-siwaju GELU pẹlu SwiGLU lati dinku idamu ni iṣiro iṣiro deede Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
SwiGLU ati Awọn iṣiṣẹ Gated ni iṣe
Iwọn ti o farapamọ jẹ iwọn si bii meji-meta (8/3 d) nitorinaa matrix gating afikun ko ni fa awọn FLOPs.
Iwọn ti o farapamọ jẹ iwọn si bii meji-meta (8/3 d) nitorinaa afikun matrix gating ko ni fa awọn ẹgbẹ FLOPs nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
SwiGLU ati Awọn iṣiṣẹ Gated ni iṣe
Awọn awoṣe adapọ-ti-amoye bii Mixtral lo awọn bulọọki SwiGLU bi nẹtiwọọki ifunni-siwaju-iwé-kọọkan.
Awọn awoṣe adapọ-ti-amoye bii Mixtral lo awọn bulọọki SwiGLU bi awọn olutọpa-ipin-ifunni-ilọsiwaju awọn ẹgbẹ Nẹtiwọọki nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodiwọn didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
SwiGLU ati Awọn iṣiṣẹ Gated ni iṣe
Iran ati multimodal Ayirapada yiya GeGLU/SwiGLU gating lati mu wọn MLP sublayers.
Iran ati awọn oluyipada multimodal yawo GeGLU/SwiGLU gating lati mu ilọsiwaju MLP sublayers Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.