Adalu ti Amoye
Adalu ti Awọn amoye (MoE) jẹ apẹrẹ awoṣe ti o pin nẹtiwọọki kan si ọpọlọpọ awọn nẹtiwọọki iha-amọja ati muu ṣiṣẹ diẹ nikan fun titẹ sii.
Akopọ
O jẹ ki awọn awoṣe mu imọ nla lakoko ti o tọju asọtẹlẹ kọọkan ni iyara ati olowo poku.
Jin Dive
Ayipada boṣewa nṣiṣẹ gbogbo igbewọle nipasẹ awọn ipele ipon kanna, nitorinaa ṣiṣe awoṣe ni ijafafa nigbagbogbo tumọ si ṣiṣe gbogbo iṣiro diẹ sii gbowolori. Adalu awọn amoye fi opin si ọna asopọ yẹn. O rọpo Layer kikọ sii siwaju pẹlu ọpọlọpọ awọn nẹtiwọọki 'iwé' ti o kere ju pẹlu 'olulana' kekere kan ti o pinnu iru awọn amoye mu aami kọọkan. Ni igbagbogbo awọn amoye 1 tabi 2 oke nikan ni ina, nitorinaa awoṣe le ni awọn ọgọọgọrun ọkẹ àìmọye ti awọn paramita lapapọ ṣugbọn mu ida kekere kan ṣiṣẹ fun ami kan. Eyi ni idi ti awọn awoṣe bii Mixtral 8x7B ati faaji agbasọ lẹhin GPT-4 de didara giga laisi idiyele idiyele giga ni iwọn. Iṣowo-pipa jẹ idiju: gbogbo awọn amoye gbọdọ tun baamu ni iranti, ati olulana le ṣaṣeyọri tabi ṣaju diẹ ninu awọn amoye, nitorinaa ikẹkọ nilo iwọntunwọnsi ṣọra.
Imọ-imọ-ẹrọ
Ọkàn MoE jẹ nẹtiwọọki gating, ipele kekere ti o kọ ẹkọ ti o ṣe iṣiro alamọja kọọkan fun ami ti nwọle ati awọn ọna ami ami si awọn ti o ga julọ-k (nigbagbogbo k=1 tabi 2). Lati da olulana duro lati fi ohun gbogbo ranṣẹ si awọn amoye ayanfẹ diẹ, ikẹkọ ṣe afikun 'pipadanu iwọntunwọnsi fifuye' iranlọwọ ti o ṣe ijiya lilo aiṣedeede. Nitori nikan k amoye ṣiṣe fun àmi, isiro (FLOPs) duro aijọju ibakan ani bi o ti fi diẹ amoye, ki lapapọ sile ati fun-àmi iye owo asekale ominira.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Adalu ti Amoye
MoE ti n di ohun elo aiyipada fun awọn awoṣe iwọn-aala nitori pe o dinku agbara lati idiyele. Reti awọn amoye ti o dara julọ, ipa-ọna ijafafa ti o ka ọrọ-ọrọ diẹ sii, ati awọn ilana ti o dara julọ fun ṣiṣe awọn awoṣe fọnka nla lori ohun elo to lopin. Iwadi tun n koju iṣoro iranti, niwọn igba ti gbogbo awọn amoye gbọdọ wa ni fifuye botilẹjẹpe diẹ ni ṣiṣe, nipasẹ gbigbe iwé ati pipọ. Bii awọn awoṣe ṣiṣi bi Mixtral ati DeepSeek-MoE ti dagba, awọn ile ayaworan ṣoki yoo ṣee ṣe agbara awọn oluranlọwọ daradara siwaju sii lori awọn isuna GPU kekere.
Real-World imuse
Mixtral 8x7B nlo awọn amoye 8 ati mu 2 ṣiṣẹ fun ami-ami kan, fifun ni aijọju 47B lapapọ awọn paramita ṣugbọn nikan ~ 13B lọwọ fun ami kan fun yiyara, itọkasi din owo.
DeepSeek ati Qwen gbe awọn awoṣe ede MoE nla ti o baamu awọn awoṣe ipon lori awọn ami-ami lakoko ti o nṣiṣẹ pẹlu iṣiro-kekere fun ami-ami.
Awọn olupese LLM awọsanma lo MoE nitorinaa awoṣe nla kan le sin ọpọlọpọ awọn olumulo ni ifarada, nitori ibeere kọọkan nikan tan imọlẹ awọn amoye diẹ.
GoogleSiwaju Ayipada Transformer ṣe iwọn si ju aimọye miliọnu kan nipa lilo ipa ọna oke-1 lati jẹ ki iṣiro ikẹkọ le ṣakoso.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Experts quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Adalu ti LoRA Amoye
Awọn ibeere ti a beere nigbagbogbo
Kini adalu awọn amoye?
Adalu ti Awọn amoye (MoE) jẹ apẹrẹ awoṣe ti o pin nẹtiwọọki kan si ọpọlọpọ awọn nẹtiwọọki iha-amọja ati muu ṣiṣẹ diẹ nikan fun titẹ sii. O jẹ ki awọn awoṣe mu oye nla mu lakoko ti o tọju asọtẹlẹ kọọkan ni iyara ati olowo poku.
Ni a Adalu ti Amoye Layer, ohun ti pinnu eyi ti amoye ilana a fi fun àmi?
Nẹtiwọọki ẹnu-ọna kekere kan kọ ẹkọ lati ṣe Dimegilio iwé kọọkan fun ami-ami ati awọn ọna ti o lọ si awọn ti o ni igbelewọn oke. A kọ ipa-ọna, kii ṣe deede tabi laileto.
Kini idi ti awoṣe MoE le ni awọn aye lapapọ lapapọ ju awoṣe ipon laisi ilosoke ibaramu ni idiyele fun ami kan?
Nitoripe awọn amoye oke-k nikan ni ina fun ami-ami kan, iṣiro ti nṣiṣe lọwọ duro ni aijọju igbagbogbo paapaa bi iye paramita lapapọ ti n dagba nipasẹ fifi awọn amoye diẹ sii.
Isoro wo ni adiresi pipadanu fifuye-iwọntunwọnsi (oluranlọwọ) lakoko ikẹkọ MoE?
Laisi iwọntunwọnsi, olulana naa duro lati ṣe ojurere ọwọ awọn amoye. Ipadanu oluranlọwọ jẹ ijiya lilo aiṣedeede ki gbogbo awọn amoye gba ikẹkọ.
Mixtral 8x7B mu 2 ti awọn amoye 8 ṣiṣẹ fun ami kan. Kini eyi tumọ si nipa iṣiro rẹ dipo iwọn rẹ?
Pẹlu 2 nikan ti awọn amoye 8 ti n ṣiṣẹ, awọn paramita ti nṣiṣe lọwọ fun ami-ami (~ 13B) kere pupọ ju ~ 47B lapapọ, idinku idiyele idiyele.
Ewo ni ojulowo isalẹ ti awọn awoṣe MoE ni akawe si awọn awoṣe ipon ti o lagbara deede?
Paapaa botilẹjẹpe awọn amoye diẹ nikan ṣe iṣiro fun ami-ami kan, gbogbo awọn iwuwo iwé gbọdọ jẹ ti kojọpọ ni iranti, ṣiṣe awọn awoṣe MoE iranti-ebi npa lati ṣiṣẹ.