Ụdị Mixtral na Sparse
Mixtral bụ ihe nlere nke ndị ọkachamara mepere emepe nke Mistral AI nke na-ebuga nnukwu ihe nlere anya na obere ọsọ ụdị.
Nchịkọta
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
Ime miri emi
Mixtral 8x7B, nke Mistral AI weputara na ngwụcha 2023, kwalitere ụzọ ndị ọkachamara na-adịghị ahụkebe (MoE) n'ụdị mepere emepe. Ọ nwere netwọọdụ ndị ọkachamara na-ebugharị asatọ dị iche iche n'otu oyi akwa, yana ihe dị ka ijeri ijeri 47, mana rawụta dị fechaa na-ahọrọ naanị ndị ọkachamara abụọ maka akara ọ bụla. N'ihi ya, ọ bụ naanị ihe dị ka ijeri 13 na-arụ ọrụ n'otu akara, yabụ ntinye na-agba ọsọ ọsọ dị ka ụdị nnukwu 13B ka ọ na-erute ogo nke yiri nke ka ukwuu. Mixtral dakọtara ma ọ bụ tie GPT-3.5 na Llama 2 70B n'ọtụtụ akara ngosi ebe ọ na-adị ngwa ngwa ma dị ọnụ ala iji jee ozi. Mistral mechara wepụta Mixtral 8x22B. Enyere ihe nlereanya ahụ ikike n'ihu ọha n'okpuru Apache 2.0, na-eme ka nkuchi ngwa ngwa na nhazi dị mma n'ime obodo mepere emepe.
Nghọta nka nka
N'ime oyi akwa MoE na-adịghị ahụkebe, netwọk ndị ọkachamara N na-edochi ngọngọ nke na-aga n'ihu nke ukwuu yana obere netwọk gating (onye rawụta). Maka akara ọ bụla, rawụta na-agbakọ ọnụ ọgụgụ wee họrọ ndị ọkachamara top-k (top-2 na Mixtral), na-ebugharị token naanị site na ndị ahụ. A na-ebupụta ihe ha rụpụtara ma gbakọọ. N'ihi na ọtụtụ ndị ọkachamara na-anọ n'enweghị ọrụ n'otu akara, ihe nlereanya a na-ejide ọtụtụ paramita na ebe nchekwa mana ọ na-enwe obere mgbako. Azụmahịa: a ga-ebunye ndị ọkachamara niile na VRAM n'agbanyeghị na ọ bụ naanị ụfọdụ na-agba ọsọ.
Mmetụta atụmatụ
Ọnụ ego na mmefu ego
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi doro anya
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Quality akara
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Ọdịnihu nke ụdị mixtral na sparse
Sparse MoE bụzi etiti na oke AI. Na-atụ anya mwepụta MoE mepere emepe, ụzọ kacha mma na ọtụtụ ndị ọkachamara na-ekekọrịta, yana atụmatụ ndị ọkachamara na-ekekọrịta ma ọ bụ ngwakọ na-eme ka arụmọrụ dịkwuo mma. Dị ka ụdị na-erute ijeri puku ijeri ngụkọta, sparity bụ isi ihe na-eme ka ọnụahịa dị ọnụ ala. Nchọpụta na-egbochi ntụpọ MoE na-adịghị ike, na-edozi ibu n'ofe ndị ọkachamara, ebe nchekwa n'elu, na nkwụsi ike ọzụzụ, ebe ngwaike na nchịkọta ọrụ na-ebuli elu kpọmkwem maka ndị ọkachamara na-ebugharị.
Mmejuputa n'ezie n'ụwa
Na-eje ozi chatbot dị elu na ọnụ ahịa yana ọsọ nke ụdị dị obere pere mpe
Ịnweta ụdị ikike Apache-2.0 maka ngwaahịa azụmaahịa na-enweghị ụgwọ ojiji
Ndozi omume onye ọ bụla nke ọma na Mixtral maka itinye koodu, nchịkọta, ma ọ bụ ọrụ ọtụtụ asụsụ
Na-agba ọsọ ọsọ ọsọ na otu sava multi-GPU ebe ụdị nnukwu 70B ga-adị ngwa ngwa
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Nlereanya na Pipeline Parallelism
Ajụjụ a na-ajụkarị
What is Mixtral and Sparse Models?
Mixtral bụ ihe nlere nke ndị ọkachamara mepere emepe nke Mistral AI nke na-ebuga nnukwu ihe nlere anya na obere ọsọ ụdị. Ụdị dị iche iche dị ka ya na-arụ ọrụ naanị obere akụkụ nke parampat ha kwa token, na-egbutu mgbakọ na-enweghị ike ịchụ àjà.
Na Mixtral 8x7B, ndị ọkachamara ole na-ahazi akara nke ọ bụla?
Mixtral na-eji top-2 routing: onye rawụta na-ahọrọ abụọ n'ime ndị ọkachamara asatọ ka ha hazie akara ngosi ọ bụla.
Kedu akụrụngwa na-ekpebi ndị ọkachamara ezigara akara ngosi?
Obere netwọk gating, nke a na-akpọ router, na-ama ndị ọkachamara akara wee họrọ ndị na-ejikwa akara ọ bụla.
Ọ bụ ezie na Mixtral 8x7B nwere ihe dị ka mkpokọta 47B, ole na ole na-arụ ọrụ kwa token?
N'ihi na ọ bụ naanị ndị ọkachamara abụọ na-agba ọsọ n'otu akara, ihe dị ka ijeri ijeri 13 na-arụ ọrụ, na-enye ya ọsọ nke ụdị dị obere.
Kedu ihe bụ isi azụmaahịa nke ụdị MoE dị obere dị ka Mixtral?
MoE na-echekwa mkpokọta kwa token mana ọ ka chọrọ ka ejide ndị ọkachamara niile na VRAM, na-abawanye mkpa ebe nchekwa.
N'okpuru ikike nke Mistral AI wepụtara Mixtral, na-eme ka nkuchi mepere emepe?
A tọhapụrụ Mixtral n'okpuru ikike Apache 2.0 na-enye ohere, na-enye ohere iji azụmahịa na-eme ihe n'efu na ngbanwe nke ọma.