Nchịkọta
Ịgba ọsọ na ịkwọ ụgbọ mmiri na-eme ka netwọkụ akwara rụọ ọrụ naanị akụkụ ọ chọrọ maka ntinye ọ bụla kama ịmegharị ihe nlereanya ahụ oge ọ bụla. Nke a na-ewepụ nha ihe nlereanya site na ịgbakọ ọnụ ahịa, na-eme ka ụdịdị dị ukwuu na-adị ngwa ngwa yana ọnụ ala iji na-agba ọsọ.
Gating na Routing na Conditional Computation bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀.
Ime miri emi
Mgbakọ ọnọdụ pụtara na netwọk na-eme mkpebi dabere data gbasara nke obere modul ga-eji. Obere netwọk 'gating' ma ọ bụ 'router' mụtara na-eleba anya ntinye ọ bụla (mgbe ọ bụla akara) wee mepụta akara na-ahọrọ 'ọkachamara' iziga ya. N'ime oyi akwa Mixture-of-Experts (MoE), ọtụtụ ma ọ bụ narị narị ndị ọkachamara sub-network dị, mana rawụta na-ahọrọ naanị otu ma ọ bụ abụọ n'elu maka akara ọ bụla, yabụ ọtụtụ ndị ọkachamara na-anọ nkịtị maka ntinye ọ bụla enyere. Nsonaazụ bụ ihe nlere nke nwere ọnụ ọgụgụ paramita buru ibu mana ọnụ ọgụgụ dị nta na-arụ ọrụ, na-enye ike nnọchite anya nke nnukwu ihe nlereanya na ọnụ ahịa oge ojiri obere. Nke a bụ ka ụdị dị ka Switch Transformer, GLaM, na ọtụtụ oke oke ụdị asụsụ na-agbago ruo ọtụtụ puku ijeri paramita dị ọnụ ala.
Nghọta nka nka
Ndị rawụta na-agbakọkarị softmax n'elu ndị ọkachamara wee họrọ top-k, wee jikọta nsonaazụ ha tụrụ site na ọnụ ụzọ ámá. Ihe ịma aka bụ imezi ibu: ndị na-anya ụgbọ mmiri na-amasị ndị ọkachamara ole na ole, na-ahapụ ndị ọzọ n'azụghị azụ. Ya mere ọzụzụ na-agbakwụnye mfu inyeaka na-edozi ibu iji gbasaa akara n'otu n'otu, gbakwunyere oke ikike nke na-adaba ma ọ bụ na-emegharị ihe nrịbama. N'ihi na nhọrọ top-k dị iche na enweghị ike ịdị iche, gradients na-aga naanị site na ndị ọkachamara ahọpụtara na ọnụ ụzọ ámá ha.
Ịkụzi Gating na Ntugharị na Mgbakọ Ọnọdụ
Ịgba ọsọ na ịkwọ ụgbọ mmiri na-eme ka netwọkụ akwara rụọ ọrụ naanị akụkụ ọ chọrọ maka ntinye ọ bụla kama ịmegharị ihe nlereanya ahụ oge ọ bụla. Nke a na-ewepụ nha ihe nlereanya site na ịgbakọ ọnụ ahịa, na-eme ka ụdịdị dị ukwuu na-adị ngwa ngwa yana ọnụ ala iji na-agba ọsọ. Gating na Routing na Conditional Computation bụ ngọngọ ụlọ ọrụ nka nke na-emetụta ịdịmma nlereanya, ọnụ ahịa akụrụngwa, nkwụsịtụ, na ntụkwasị obi n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Gating na Routing na Conditional Computation dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.
Na omume, otu siri ike na-eji Gating na Routing in Conditional Computation na-ebuli ụkpụrụ ụlọ, data na akụrụngwa megide ntụkwasị obi na ọnụ ahịa. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'otu oge ahụ, ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
The Switch Transformer na-ebugharị akara ọ bụla gaa n'otu ọkachamara, na-agbakọ ihe karịrị otu puku ijeri paramita ma na-edobe otu-token gbakọọ ala.
Ụdị asụsụ buru ibu na-aga n'ihu na-eji ngwakọta ngwakọta-nke-ọkachamara nke mere na ọ bụ naanị akụkụ dị nta nke nha na-arụ ọrụ maka akara ọ bụla.
Ọdịiche ọpụpụ ihe onyonyo n'oge na-akwụsị na oyi akwa na-emighị emi maka onyonyo dị mfe ma na-agba ọsọ n'ime naanị maka ndị siri ike.
Ụdị asụsụ dị iche iche nke ndị na-anya ụgbọ mmiri na-amụta iziga akara sitere na asụsụ dị iche iche nye ndị ọkachamara pụrụ iche dị iche iche.
Usoro mmejuputa
Gating na ụzọ na Mgbakọ Ọnọdụ na omume
The Switch Transformer na-ebugharị akara ọ bụla gaa n'otu ọkachamara, na-agbakọ ihe karịrị otu puku ijeri paramita ma na-edobe otu-token gbakọọ ala.
The Switch Transformer na-ebugharị akara ọ bụla gaa n'otu ọkachamara, na-agbadata ihe karịrị puku ijeri ijeri ka ị na-edobe otu-token na-agbakọ obere otu egwuregwu na-enwetakwa nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, na-edobe ụzọ ịrị elu mmadụ maka ikpe ihu, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Gating na ụzọ na Mgbakọ Ọnọdụ na omume
Ụdị asụsụ buru ibu na-aga n'ihu na-eji ngwakọta ngwakọta-nke-ọkachamara nke mere na ọ bụ naanị akụkụ dị nta nke nha na-arụ ọrụ maka akara ọ bụla.
Ụdị asụsụ dị ukwuu nke dị n'ihu na-eji ngwakọta Mixture-of-Experts layers so nani akụkụ dị nta nke ịdị arọ na-arụ ọrụ maka otu token Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Gating na ụzọ na Mgbakọ Ọnọdụ na omume
Ọdịiche ọpụpụ ihe onyonyo n'oge na-akwụsị na oyi akwa na-emighị emi maka onyonyo dị mfe ma na-agba ọsọ n'ime naanị maka ndị siri ike.
Ndị na-ese foto na-apụ apụ na mbụ nke na-akwụsị na oyi akwa na-emighị emeri maka ihe oyiyi dị mfe ma na-agba ọsọ miri emi maka ndị siri ike Otu na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Gating na ụzọ na Mgbakọ Ọnọdụ na omume
Ụdị asụsụ dị iche iche nke ndị na-anya ụgbọ mmiri na-amụta iziga akara sitere na asụsụ dị iche iche nye ndị ọkachamara pụrụ iche dị iche iche.
Ụdị asụsụ dị iche iche nke ndị na-anya ụgbọ ala na-amụta iziga akara sitere na asụsụ dị iche iche gaa na ndị ọkachamara pụrụ iche dị iche iche Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Benchmark n'okpuru ibu dị adị na ọnọdụ data. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.