Dulmar
Jamba waa nooc luuqadeed oo weyn oo ka socda AI21 Labs kaas oo dhexgala lakabyada dareenka Transformer oo leh lakabyo dawlad-goboleedka Mamba (oo lagu daray khubarada isku dhafka ah) si loo helo waxtarka muddada-dheer iyada oo aan la joojin tayada Transformer. Waa arrin sababtoo ah waxay muujinaysaa naqshadaha isku-dhafka ah waxay ku garaaci karaan Transformers saafi ah xusuusta iyo soo saarista dhererka isku xigxiga ee dheer.
Jamba Hybrid Transformer-Mamba Models waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, soo saaro, kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Transformers-yada saafiga ah waxay bixiyaan qiime afar geesood ah iyadoo la eegayo sida macnaha guud u korayo, iyo buufinadooda qiimaha muhiimka ah ee leh dhererka isku xigxiga. Moodooyinka saafiga ah ee gobolka sida Mamba ayaa si toos ah u cabbiraya oo ku hay xaalad go'an oo soo noqnoqota, laakiin taariikh ahaan dareenka shaqooyinka qaarkood Jamba waxay isku daraysaa labadaba: waxay isku dhejisaa meelaha lakabyada intooda badani ay yihiin Mamba ( jaban, toosan, ku fiican taxanaha dheer) iyo tiro yar ayaa ah dareenka caadiga ah (oo ku xooggan dib u soo celinta saxda ah iyo sababaynta macnaha guud). Waxa kale oo ay ku darsataa lakabyo isku-dhafan (MoE) si ay u koraan awoodda iyada oo la ilaalinayo cabbirrada firfircoon ee dhexdhexaad ah. Jamba-dii ugu horreysay waxay ku sii daysay daaqad 256K-token ah waxayna ku habboonaan kartaa macnaha guud ee hal GPU marka loo eego Transformers la barbardhigi karo, taas oo ay ugu wacan tahay kaydkeeda aadka u yar ee KV.
Aragtida Farsamada
Mamba waa moodeel goob dawladeed oo door ah: halkii aad ka dhigan lahayd calaamad kasta oo la soo dhaafay, waxay ilaalinaysaa xaalad isku xidhan oo soo noqnoqota oo si toos ah loo cusboonaysiiyay, iyada oo la raacayo gatin-ku-tiirsan oo go'aaminaya waxa la hayo ama la iloobo. Jamba waxay dhexda u gelisaa dhowr lakab oo foojignaan buuxda leh oo ka mid ah lakabyo badan oo Mamba ah sidaa darteed moodeelku wuxuu hayaa feejignaanta saxda ah ee fogaanta halka inta badan xisaabinta iyo xusuusta ay sii ahaanayaan toosan, marinka MoE-na waxa uu dhaqaajiyaa kaliya qayb hoosaadka khubarada calaamadiiba.
Samaynta Jamba Hybrid Transformer-Models Mamba
Jamba waa nooc luuqadeed oo weyn oo ka socda AI21 Labs kaas oo dhexgala lakabyada dareenka Transformer oo leh lakabyo dawlad-goboleedka Mamba (oo lagu daray khubarada isku dhafka ah) si loo helo waxtarka muddada-dheer iyada oo aan la joojin tayada Transformer. Waa arrin sababtoo ah waxay muujinaysaa naqshadaha isku-dhafka ah waxay ku garaaci karaan Transformers saafi ah xusuusta iyo soo saarista dhererka isku xigxiga ee dheer. Jamba Hybrid Transformer-Mamba Models waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, soo saaro, kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Jamba Hybrid Transformer-Mamba Models qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku u samayn karo si lagu kalsoonaan karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya Jamba Hybrid Transformer-Mamba Models naqshadaynta, soo celinta, iyo dib u eegista wareegyada sidii hal nidaam isgaarsiineed oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Ka baaraandegidda agabyada 256K-token sida gal-gal sharci oo dheer ama kayd kood weyn oo hal GPU ah oo aan ku habboonayn karin kaydka KV ee Transformer-ka
U adeegida sheeko nuxur dheer leh oo nuxurkeedu sarreeyo halkaas oo xaaladda Mamba ay ku ilaaliso xusuusta si siman marka sheekadu koraan
Diiwaangeli falanqaynta iyo dib-u-soo-celinta-jiilka la kordhiyey ee ka badan saldhigyo aqooneed oo aad u ballaaran oo si toos ah loo galay
Ku socodsiinta miisaan-furan oo macnaha LLM ah (Jamba waxaa lagu sii daayay miisaan furan) si loogu baaro dhismooyinka isku-dhafka ah
Hababka Dhaqangelinta
Jamba Hybrid Transformer-Mamba Models ficil ahaan
Ka baaraandegidda agabka 256K-token sida gal-gal sharci oo dheer ama kayd kood oo waaweyn oo hal GPU ah oo aan ku habboonayn karin kaydka KV ee Transformer ee la midka ah.
Ka-hortagga agabyada 256K-token sida fayl-garayn dheer oo sharci ah ama kayd kood oo waaweyn oo hal GPU ah oo aan ku habboonayn karin kooxaha kaydka ah ee Transformer's KV inta badan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee xagga hore, u ilaali dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Jamba Hybrid Transformer-Mamba Models ficil ahaan
U adeegida sheeko dheer oo nuxurkeedu sarreeyo oo xaaladda Mamba ay ku ilaaliso xusuusta mid siman marka ay wada sheekaysigu koraan.
U adeegida sheeko dheer oo nuxurkeedu sarreeyo halkaas oo xaaladda Mamba ee go'an ay ku ilaaliso xusuusta si siman sida wada-hadallada u koraan Kooxuhu badanaa waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Jamba Hybrid Transformer-Mamba Models ficil ahaan
Diiwaangeli falanqaynta iyo dib-u-soo-celinta-jiilka la kordhiyey ee ka badan saldhigyo aqooneed oo aad u ballaaran oo si toos ah loo galay.
Falanqaynta dukumeentiga iyo dib u soo celinta-jiilka la kordhiyey ee ka badan saldhigyo aqooneed oo aad u ballaaran oo si toos ah loogu dhejiyay macnaha guud Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Jamba Hybrid Transformer-Mamba Models ficil ahaan
Ku socodsiinta miisaan-furan LLM-macnaha guud (Jamba waxaa lagu sii daayay miisaan furan) si cilmi baaris loogu sameeyo naqshadaha isku-dhafan.
Ku socodsiinta miisaan-furan LLM-macneed dheer (Jamba waxaa lagu sii daayay miisaan furan) cilmi baaris lagu sameeyay qaab-dhismeedka isku-dhafka ah Kooxuhu waxay inta badan helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Dhaqangelinta Roadmapka
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.