Ngwakọta nke ndị ọkachamara
Ngwakọta Ndị Ọkachamara (MoE) bụ ihe nlere anya nke na-ekewa netwọk n'ime ọtụtụ netwọkụ mpaghara pụrụ iche ma na-arụ ọrụ naanị ole na ole kwa ntinye.
Nchịkọta
It lets models hold enormous knowledge while keeping each prediction fast and cheap.
Ime miri emi
Igwe ngbanwe ọkọlọtọ na-agba ọsọ ọ bụla ntinye site na otu akwa akwa, yabụ ime ka ihe nlereanya mara mma na-apụtakarị ime ka mgbako ọ bụla dị oke ọnụ. Ngwakọta ndị ọkachamara na-agbaji njikọ ahụ. Ọ na-eji ọtụtụ netwọk 'ọkachamara' pere mpe dochie akwa akwụkwọ nri na-aga n'ihu yana obere 'router' nke na-ekpebi ndị ọkachamara na-ejikwa akara ọ bụla. A na-ahụkarị naanị ndị ọkachamara 1 ma ọ bụ 2 na-agba ọkụ, yabụ ihe nlereanya nwere ike ịnwe ọtụtụ narị ijeri ngụkọta paramita mana naanị rụọ ọrụ obere akụkụ kwa token. Nke a bụ ya mere ụdịdị dị ka Mixtral 8x7B na ụlọ asịrị a na-anụ n'azụ GPT-4 na-eru ogo dị elu na-enweghị ọnụ ahịa ọnụahịa dị elu. Azụmahịa ahụ dị mgbagwoju anya: ndị ọkachamara niile ka ga-adaba na ebe nchekwa, na rawụta nwere ike mebie ma ọ bụ bufee ụfọdụ ndị ọkachamara, ya mere ọzụzụ chọrọ iji nlezianya dozie.
Nghọta nka nka
Obi MoE bụ netwọk gating, obere oyi akwa mmụta nke na-enye ndị ọkachamara ọ bụla akara maka akara mbata ma na-eduga akara ahụ gaa n'ọkwa kachasị elu (mgbe k=1 ma ọ bụ 2). Iji kwụsị rawụta iziga ihe niile na ndị ọkachamara ole na ole ọkacha mmasị, ọzụzụ na-agbakwunye 'nkwụsịtụ ibu ibu' inyeaka nke na-ata ahụhụ ojiji na-enweghị isi. N'ihi na ọ bụ naanị k ndị ọkachamara na-agba ọsọ kwa token, compute (FLOPs) na-adịgide adịgide ọbụlagodi ka ị na-agbakwunye ndị ọkachamara, ya mere ngụkọta paramita na ọnụ ahịa ọnụ ahịa ọ bụla n'adabereghị.
Mmetụta atụmatụ
Ọnụ ego na mmefu ego
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi doro anya
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Quality akara
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Ọdịnihu nke ngwakọta nke ndị ọkachamara
MoE na-aghọ ngwá ọrụ ndabara maka ụdị nha nha n'ihi na ọ na-ewepụ ikike site na ọnụ ahịa. Na-atụ anya ndị ọkachamara nwere ọgụgụ isi, ụzọ aghụghọ nke na-atụle ihe ndị ọzọ, yana usoro kachasị mma maka ijere nnukwu ụdị na ngwaike nwere oke. Nnyocha na-edozikwa nsogbu ebe nchekwa ahụ, ebe ọ bụ na a ga-eburịrị ndị ọkachamara niile n'agbanyeghị na ole na ole na-agba ọsọ, site na nbudata ọkachamara na ọnụọgụ. Dị ka ụdị mepere emepe dị ka Mixtral na DeepSeek-MoE tozuru oke, ihe owuwu ụlọ na-enweghị atụ ga-eme ka ndị na-enyere aka rụọ ọrụ nke ọma na obere mmefu ego GPU.
Mmejuputa n'ezie n'ụwa
Mixtral 8x7B na-eji ndị ọkachamara 8 wee rụọ ọrụ 2 kwa token, na-enye ihe dị ka mkpokọta 47B mana ọ bụ naanị ~ 13B na-arụ ọrụ kwa token maka ngwa ngwa, ọnụahịa dị ọnụ ala.
DeepSeek na Qwen na-ebufe nnukwu ụdị asụsụ MoE dabara na ụdị dị oke ọnụ na akara akara ka ha na-eji obere ihe ngụkọ ọ bụla na-agba ọsọ.
Ndị na-enye Cloud LLM na-eji MoE ka otu nnukwu ụdị nwere ike ijere ọtụtụ ndị ọrụ ozi n'akwụghị ụgwọ, ebe ọ bụ na arịrịọ ọ bụla na-enwu naanị ndị ọkachamara ole na ole.
Google's mbụ Switch Transformer gbagoro ihe karịrị trillion paramita site na iji ụzọ kacha-1 iji mee ka kọmpụta ọzụzụ nwee ike ịchịkwa.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Experts quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Ngwakọta nke ndị ọkachamara LoRA
Ajụjụ a na-ajụkarị
What is Mixture of Experts?
Ngwakọta Ndị Ọkachamara (MoE) bụ ihe nlere anya nke na-ekewa netwọk n'ime ọtụtụ netwọkụ mpaghara pụrụ iche ma na-arụ ọrụ naanị ole na ole kwa ntinye. Ọ na-ahapụ ụdịdị ijide nnukwu ihe ọmụma ma na-edobe amụma ọ bụla ngwa ngwa na ọnụ ala.
Na ngwakọta nke ndị ọkachamara oyi akwa, gịnị na-ekpebi ndị ọkachamara na-ahazi akara enyere?
Otu obere netwọk gating na-amụta ịka ọkachamara ọ bụla maka akara ahụ wee duru ya gaa na ndị nwere akara kacha elu. A na-amụta usoro ụzọ, ọ bụghị edozi ma ọ bụ enweghị usoro.
Kedu ihe kpatara ihe nlereanya MoE nwere ike isi nwee oke mkpokọta karịa ụdị dị oke ọnụ na-enweghị mmụba dabara na ọnụ ahịa otu akara?
N'ihi na ọ bụ naanị ndị ọkachamara top-k na-agba ọkụ n'otu token, kọmpụta na-arụ ọrụ na-adịgide adịgide ọbụlagodi ka ngụkọta oke na-eto site na ịgbakwunye ndị ọkachamara.
Kedu nsogbu ọ na-ekwu okwu nhụsianya na-ebu ibu (ihe inyeaka) n'oge ọzụzụ MoE?
Na-enweghị nhazi, onye rawụta na-achọkarị ndị ọkachamara ole na ole. Ọnwụ inyeaka na-ata ahụhụ ojiji na-ezighi ezi ka ndị ọkachamara niile wee nweta ọzụzụ.
Mixtral 8x7B na-arụ ọrụ 2 n'ime ndị ọkachamara 8 ya kwa akara. Kedu ihe nke a pụtara maka ịgbakọ ya na nha ya?
Na naanị 2 n'ime ndị ọkachamara 8 na-arụ ọrụ, paramita na-arụ ọrụ kwa token (~ 13B) dị obere karịa mkpokọta ~ 47B, na-eweda ọnụ ahịa ntinye aka.
Kedu nke bụ ezigbo ọdịda nke ụdị MoE ma e jiri ya tụnyere ụdị oke nwere oke nha anya?
Ọbụlagodi na ọ bụ naanị ndị ọkachamara ole na ole na-agbakọ kwa token, a ga-eburịrị ibu ndị ọkachamara ọ bụla na ebe nchekwa, na-eme ka MoE ụdị ebe nchekwa na-agụ agụụ ije ozi.