Nchịkọta
Jamba bụ nnukwu ụdị asụsụ sitere na AI21 Labs nke na-etinye nlebara anya Transformer n'ígwé mamba steeti-space layers (gbakwunyere ngwakọta-nke ndị ọkachamara) iji nweta arụmọrụ ogologo oge na-ahapụghị mma Transformer. Ọ dị mkpa n'ihi na ọ na-egosi ngwakọ architectures nwere ike iti dị ọcha Transformers na ebe nchekwa na throughput na ogologo usoro ogologo.
Jamba Hybrid Transformer-Mamba Models bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, kewaa, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
Ndị ngbanwe dị ọcha na-akwụ ụgwọ quadratic na nlebara anya ka ihe gbara ya gburugburu na-etolite, yana balloons cache uru bara uru nwere ogologo usoro. Ụdị oghere steeti dị ọcha dị ka ọnụ ọgụgụ Mamba n'ahịrị ma na-edobe ọnọdụ na-emegharị ugboro ugboro, mana akụkọ ihe mere eme anaghị etinye uche na ụfọdụ ọrụ. Jamba na-agwakọta ha abụọ: ọ na-akwakọba ihe mgbochi ebe ọtụtụ n'ígwé bụ Mamba (dị ọnụ ala, linear, dị ukwuu maka ogologo usoro) yana ọnụ ọgụgụ dị nta bụ nlebara anya ọkọlọtọ (siri ike na ncheta ziri ezi na echiche dị n'ime). Ọ na-agbakwụnye n'ígwé ngwakọta-nke ndị ọkachamara (MoE) iji tolite ikike ma na-edobe paramita na-arụ ọrụ nke ọma. Jamba mbụ wepụtara na windo ihe ngosi 256K-token ma nwee ike dabara nke ukwuu na otu GPU karịa ndị ntụgharị atụnyere, n'ihi cache KV ya pere mpe.
Nghọta nka nka
Mamba bụ ụdị oghere steeti ahọpụtara: kama ịga na akara ngosi ọ bụla gara aga, ọ na-edobe steeti abịakọrọ na-emegharị ugboro ugboro n'usoro n'usoro, yana ọnụ ụzọ ntinye dabere na-ekpebi ihe ị ga-edobe ma ọ bụ chefuo. Jamba na-etinye nlebara anya ole na ole nlebara anya n'etiti ọtụtụ ọkwa Mamba ka ihe nlereanya ahụ na-ejigide nlele anya ogologo oge ebe ọtụtụ n'ime mgbakọ na ebe nchekwa na-anọ n'ahịrị, usoro MoE na-arụ ọrụ naanị obere ndị ọkachamara n'otu akara.
Ịmụta Jamba Hybrid Transformer-Mamba Models
Jamba bụ nnukwu ụdị asụsụ sitere na AI21 Labs nke na-etinye nlebara anya Transformer n'ígwé mamba steeti-space layers (gbakwunyere ngwakọta-nke ndị ọkachamara) iji nweta arụmọrụ ogologo oge na-ahapụghị mma Transformer. Ọ dị mkpa n'ihi na ọ na-egosi ngwakọ architectures nwere ike iti dị ọcha Transformers na ebe nchekwa na throughput na ogologo usoro ogologo. Jamba Hybrid Transformer-Mamba Models bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, kewaa, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Jamba Hybrid Transformer-Mamba Models dị ka ihe nlere anya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, wee kewapụ ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, ndị otu siri ike na-eji Jamba Hybrid Transformer-Mamba Models chepụta mkpali, iweghachite, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ka ọ bụrụ ike na-adịgide adịgide gafee ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta Strategic
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Otu dị iche iche nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Na-ahazi ntinye 256K-token dị ka ogologo ntinye akwụkwọ iwu ma ọ bụ nnukwu ebe nchekwa koodu na otu GPU nke na-enweghị ike dabara na cache Transformer's KV.
Ije ozi mkparịta ụka ogologo okwu dị elu ebe ọnọdụ Mamba na-eme ka ebe nchekwa dị larịị ka mkparịta ụka na-eto.
Nyocha akwụkwọ na iweghachi-ọgbọ agbakwunyere n'elu ntọala ihe ọmụma buru ibu etinyere ya ozugbo
Na-agba ọsọ ogologo okwu LLM nke mepere emepe (Jamba ka e wepụtara ya na nnukwu ibu mepere emepe) maka nyocha n'ime ụlọ ngwakọ.
Usoro mmejuputa
Jamba Hybrid Transformer-Mamba Models na omume
Na-ahazi ntinye akara ngosi 256K dị ka ntinye akwụkwọ iwu ogologo ma ọ bụ nnukwu ebe nchekwa koodu na otu GPU nke na-enweghị ike dabara na cache nke Transformer's KV.
Ịhazi ntinye 256K-token dị ka akwụkwọ ndekọ ogologo oge ma ọ bụ nnukwu koodu nchekwa na otu GPU nke na-enweghị ike ịkwado otu ihe nchekwa nke Transformer's KV cache na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ọnụ ọnụ, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Jamba Hybrid Transformer-Mamba Models na omume
Ije ozi mkparịta ụka ogologo okwu dị elu ebe ọnọdụ Mamba na-eme ka ebe nchekwa dị larịị ka mkparịta ụka na-eto.
Ije ozi ogologo mkparịta ụka ogologo okwu dị elu ebe ọnọdụ Mamba na-eme ka ebe nchekwa dị larịị ka mkparịta ụka na-eto otu ìgwè na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ na-ebuwanye ibu maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Jamba Hybrid Transformer-Mamba Models na omume
Nyocha akwụkwọ na iweghachi-ọgbọ agbakwunyere n'elu ntọala ihe ọmụma buru ibu etinyere ya ozugbo.
Nyocha akwụkwọ na iweghachite ọgbọ n'elu nnukwu ihe ọmụma nke etinyere ozugbo n'ime ihe dị iche iche Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie n'ime oge.
Jamba Hybrid Transformer-Mamba Models na omume
Na-agba ọsọ ogologo okwu LLM nke mepere emepe (Jamba ka ewepụtara ya na oke oghe) maka nyocha n'ime ihe owuwu ngwakọ.
Na-agba ọsọ ogologo-okwu LLM (Jamba wepụtara na nnukwu ibu) maka nyocha n'ime ụlọ ihe owuwu ngwakọ Otu dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.