Mixtral ati Sparse Models
Mixtral jẹ Awoṣe idapọmọra-ti-imọ-imọ Mistral AI ti o ṣafihan didara awoṣe-nla ni iyara awoṣe kekere.
Akopọ
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
Jin Dive
Mixtral 8x7B, ti a tu silẹ nipasẹ Mistral AI ni ipari ọdun 2023, gbakiki ọna idapọ-awọn amoye fọnka (MoE) ni awọn awoṣe ṣiṣi. O ni awọn nẹtiwọọki ifunni siwaju-itọkasi mẹjọ mẹjọ, pẹlu bii 47 bilionu lapapọ awọn aye, ṣugbọn olulana iwuwo fẹẹrẹ yan awọn amoye meji kan fun ami kọọkan. Bi abajade, aijọju 13 bilionu awọn paramita ni o ṣiṣẹ fun ami-ami kan, nitorinaa itọkasi n ṣiṣẹ ni iyara bi awoṣe ipon 13B lakoko ti o de didara ti o ni afiwe si awọn ti o tobi pupọ. Mixtral baamu tabi lu GPT-3.5 ati Llama 2 70B lori ọpọlọpọ awọn aṣepari lakoko ti o yara ati din owo lati ṣiṣẹ. Mistral nigbamii tu silẹ Mixtral 8x22B. Awoṣe naa ti ni iwe-aṣẹ ni gbangba labẹ Apache 2.0, ti nmu isọdọmọ ni iyara ati atunṣe-itanran ni agbegbe orisun-ìmọ.
Imọ-imọ-ẹrọ
Ni a fọnka MoE Layer, ipon kikọ-siwaju Àkọsílẹ rọpo nipasẹ N iwé nẹtiwọki pẹlu kan kekere gating nẹtiwọki (olulana). Fun ami-ami kọọkan, olulana ṣe iṣiro awọn ikun ati mu awọn amoye oke-k (oke-2 ni Mixtral), titọ ami naa nikan nipasẹ awọn. Awọn abajade wọn jẹ iwuwo ati akopọ. Nitori ọpọlọpọ awọn amoye duro laišišẹ fun ami-ami kan, awoṣe naa di ọpọlọpọ awọn ayeraye sinu iranti sibẹsibẹ ṣe iṣiro kere si. Iṣowo-pipa: gbogbo awọn amoye gbọdọ wa ni fifuye sinu VRAM botilẹjẹpe diẹ ninu ṣiṣe nikan.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Mixtral ati Sparse Models
MoE Sparse jẹ aringbungbun si iwaju AI. Ṣe ireti awọn idasilẹ MoE diẹ sii ti o ṣii, ipa-ọna ti o dara julọ pẹlu ọpọlọpọ awọn amoye kekere, ati pinpin tabi awọn apẹrẹ iwé arabara ti o mu imudara siwaju sii. Bi awọn awoṣe ṣe iwọn si awọn aimọye ti awọn paramita lapapọ, sparsity jẹ lefa akọkọ fun titọju idiyele ni ifarada. Iwadi n koju awọn aaye alailagbara MoE, iwọntunwọnsi fifuye kọja awọn amoye, iṣaju iranti, ati iduroṣinṣin ikẹkọ, lakoko ti ohun elo ati awọn akopọ iṣẹ n pọ si ni ilọsiwaju pataki fun ipa-ọna iwé.
Real-World imuse
Nsin chatbot ti o ni agbara giga ni idiyele ati iyara ti awoṣe ipon ti o kere pupọ
Gbigbalejo ara ẹni awoṣe iwe-aṣẹ Apache-2.0 fun awọn ọja iṣowo laisi awọn idiyele lilo
Titun-tuntun awọn ihuwasi ẹni kọọkan lori Mixtral fun ifaminsi, akopọ, tabi awọn iṣẹ-ṣiṣe ede-pupọ
Ṣiṣe ni iyara iyara lori olupin pupọ-GPU kan nibiti awoṣe ipon 70B yoo lọra pupọ
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awoṣe ati Pipeline Parallelism
Awọn ibeere ti a beere nigbagbogbo
What is Mixtral and Sparse Models?
Mixtral jẹ Awoṣe idapọmọra-ti-imọ-imọ Mistral AI ti o ṣafihan didara awoṣe-nla ni iyara awoṣe kekere. Awọn awoṣe fọnka bii o ṣiṣẹ nikan ida kan ti awọn paramita wọn fun ami kan, gige iṣiro laisi irubọ agbara.
Ni Mixtral 8x7B, melo ni awọn amoye ṣe ilana ami-ami kọọkan?
Mixtral nlo oke-2 afisona: olulana yan meji ninu awọn amoye mẹjọ lati ṣe ilana ami-ami kọọkan.
Ohun ti paati pinnu eyi ti amoye a àmi rán si?
Nẹtiwọọki gating kekere kan, ti a pe ni olulana, ṣe iṣiro awọn amoye ati yan iru awọn ti o mu ami-ami kọọkan.
Bó tilẹ jẹ pé Mixtral 8x7B ni o ni nipa 47B lapapọ sile, aijọju melo ni o wa lọwọ fun àmi?
Nitori awọn amoye meji nikan nṣiṣẹ fun ami-ami kan, aijọju 13 bilionu awọn aye n ṣiṣẹ, fifun ni iyara ti awoṣe ti o kere pupọ.
Kini iṣowo bọtini kan ti awọn awoṣe MoE fọnka bii Mixtral?
MoE ṣe ifipamọ iṣiro fun ami kan ṣugbọn tun nilo gbogbo awọn amoye lati waye ni VRAM, jijẹ awọn iwulo iranti.
Labẹ iwe-aṣẹ wo ni Mistral AI tu silẹ Mixtral, ti o nfa isọdọmọ ṣiṣi silẹ?
A ṣe idasilẹ Mixtral labẹ iwe-aṣẹ Apache 2.0 ti o gba laaye, gbigba lilo iṣowo ọfẹ ati atunṣe-itanran.