Jamba Hybrid Transformer-Models Mamba
Jamba waa nooc luuqadeed oo weyn oo ka socda AI21 Labs kaas oo dhexgala lakabyada dareenka Transformer oo leh lakabyo dawlad-goboleedka Mamba (oo lagu daray khubarada isku dhafka ah) si loo helo waxtarka muddada-dheer iyada oo aan la joojin tayada Transformer.
Dulmar
Waa arrin sababtoo ah waxay muujinaysaa naqshadaha isku-dhafka ah waxay ku garaaci karaan Transformers saafi ah xusuusta iyo soo saarista dhererka isku xigxiga ee dheer.
quusid qoto dheer
Transformers-yada saafiga ah waxay bixiyaan qiime afar geesood ah iyadoo la eegayo sida macnaha guud u korayo, iyo buufinadooda qiimaha muhiimka ah ee leh dhererka isku xigxiga. Moodooyinka saafiga ah ee gobolka sida Mamba ayaa si toos ah u cabbiraya oo ku hay xaalad go'an oo soo noqnoqota, laakiin taariikh ahaan dareenka shaqooyinka qaarkood Jamba waxay isku daraysaa labadaba: waxay isku dhejisaa meelaha lakabyada intooda badani ay yihiin Mamba ( jaban, toosan, ku fiican taxanaha dheer) iyo tiro yar ayaa ah dareenka caadiga ah (oo ku xooggan dib u soo celinta saxda ah iyo sababaynta macnaha guud). Waxa kale oo ay ku darsataa lakabyo isku-dhafan (MoE) si ay u koraan awoodda iyada oo la ilaalinayo cabbirrada firfircoon ee dhexdhexaad ah. Jamba-dii ugu horreysay waxay ku sii daysay daaqad 256K-token ah waxayna ku habboonaan kartaa macnaha guud ee hal GPU marka loo eego Transformers la barbardhigi karo, taas oo ay ugu wacan tahay kaydkeeda aadka u yar ee KV.
Aragtida Farsamada
Mamba waa moodeel goob dawladeed oo door ah: halkii aad ka dhigan lahayd calaamad kasta oo la soo dhaafay, waxay ilaalinaysaa xaalad isku xidhan oo soo noqnoqota oo si toos ah loo cusboonaysiiyay, iyada oo la raacayo gatin-ku-tiirsan oo go'aaminaya waxa la hayo ama la iloobo. Jamba waxay dhexda u gelisaa dhowr lakab oo foojignaan buuxda leh oo ka mid ah lakabyo badan oo Mamba ah sidaa darteed moodeelku wuxuu hayaa feejignaanta saxda ah ee fogaanta halka inta badan xisaabinta iyo xusuusta ay sii ahaanayaan toosan, marinka MoE-na waxa uu dhaqaajiyaa kaliya qayb hoosaadka khubarada calaamadiiba.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Jamba Hybrid Transformer-Mamba Models
Feejignaanta isku-dhafka ah ee lagu daray naqshadaha goob-dowladeed ayaa u soo baxaya sida cunto karinta hormuudka u ah moodellada muddada-dheer ee waxtarka leh, Jamba-na waxay gacan ka geysatey faafinta qaabka. Filo moodooyin badan oo furan oo soohdin leh si ay u qaataan xirmo isku dhafan, sifee saamiga dareenka-SSM, oo ay ku daraan xeeladaha MoE iyo KV-cache. Maaddaama dalabaadka macnaha guud ay korayaan malaayiin calaamado ah, faa'iidada xusuusta tooska ah ee lakabyada-meel-dawladeedka ayaa ka dhigaysa isku-dhafka gaar ahaan soo jiidashada qalabka iyo diritaannada xasaasiga ah.
Dhaqangelinta Adduunka-dhabta ah
Ka baaraandegidda agabyada 256K-token sida gal-gal sharci oo dheer ama kayd kood weyn oo hal GPU ah oo aan ku habboonayn karin kaydka KV ee Transformer-ka
U adeegida sheeko nuxur dheer leh oo nuxurkeedu sarreeyo halkaas oo xaaladda Mamba ay ku ilaaliso xusuusta si siman marka sheekadu koraan
Diiwaangeli falanqaynta iyo dib-u-soo-celinta-jiilka la kordhiyey ee ka badan saldhigyo aqooneed oo aad u ballaaran oo si toos ah loo galay
Ku socodsiinta miisaan-furan oo macnaha LLM ah (Jamba waxaa lagu sii daayay miisaan furan) si loogu baaro dhismooyinka isku-dhafka ah
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jamba Hybrid Transformer-Mamba Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Models Space State iyo Mamba
Su'aalaha soo noqnoqda
Waa maxay Jamba Hybrid Transformer-Mamba Models?
Jamba waa nooc luuqadeed oo weyn oo ka socda AI21 Labs kaas oo dhexgala lakabyada dareenka Transformer oo leh lakabyo dawlad-goboleedka Mamba (oo lagu daray khubarada isku dhafka ah) si loo helo waxtarka muddada-dheer iyada oo aan la joojin tayada Transformer. Waa arrin sababtoo ah waxay muujinaysaa naqshadaha isku-dhafka ah waxay ku garaaci karaan Transformers saafi ah xusuusta iyo soo saarista dhererka isku xigxiga ee dheer.
Waa kuwee labada nooc ee lakabka xudunta u ah Jamba ay ka baxdo?
Sifada Jamba ee qeexaysa waxa ay is dulsaaraysaa lakabyada gobolka-Mamba oo ay weheliso tiro yar oo lakabyo feejignaan ah oo Transformer ah.
Waa maxay farsamada dheeraadka ah ee Jamba ay isticmaasho si ay u kordhiso awoodda iyada oo la ilaalinayo cabbirrada firfircoon ee hooseeya?
Jamba waxay ku darsataa lakabyada MoE sidaa darteed qayb-hoosaadyada khubarada ah ayaa shaqaynaya calaamad kasta, koraya awoodda wadarta iyada oo aan la qiyaasi karin xisaabinta.
Waa maxay sababta Mamba ay uga fiican tahay dareenka taxanaha dheer?
Mamba waxa ay si toos ah u cusboonaysiisay gobolka cabbirkiisu go'an yahay, isaga oo iska ilaalinaya qiimaha dareenka afar geesoodka ah iyo kaydka-qiimaha muhiimka ah ee weligood sii kordhaya.
Daaqad noocee ah ayuu qaabkii Jamba ee ugu horreeyay taageeray?
Jamba waxay ku bilawday daaqad 256K-token ah, oo ay awood u siisay inta badan raadkeeda yar ee KV-cache.
Waa maxay sababta Jamba ay dhawr lakab u ilaaliso halkii ay aadi lahayd Mamba saafi ah?
Dhawr lakab oo foojignaan buuxda leh ayaa haya raadinta saxda ah iyo awoodaha macnaha guud halkaas oo moodooyinka saafiga ah ee gobolka-booska ay dagi karaan.