Résumé
Jamba xeetu làkk bu mag la bu bawoo ci AI21 Labs buy boole ay couche yuy bàyyi xel ci Transformer ak ay couche espace-state Mamba (ak njaxasu eksper yi) ngir am njariñu contexte bu yàgg te baña bàyyi kalite Transformer bi. Dafa am solo ndax dafay wane ni architecture hybrid yi mën nañu raw Transformers yu sell yi ci mémoire ak ci produit yi ci guddaayi sequence yu gudd.
Jamba Hybrid Transformer-Mamba Models bokk na ci lakk-IA yi ñuy jëfandikoo ngir jàng, defar, xaaj, ak soppi mbind ak wax ci eskaal.
Plongeur bu xóot
Transformers yu sell yi dañuy fay njëgu quadratic ci bàyyi xel ci ni contexte bi di màggee, ak seen balloon cache bu am valeur bu am solo ak guddaayu toppalante bi. Modèlu espace-state bu sell bu melni Mamba dafay scale lineairement ba noppi tëye stade recurrent bu am dayo fixe, waaye ci taarix dañuy bàyyi xel ci yenn liggéey yi. Jamba dafay boole ñaari mbir yooyu: dafay jël ay blok fu layer yu bari nekk Mamba (yomb, linear, baax ci sequences yu gudd) ak limu gëna ndaw ñuy bàyyi xel ci standard (am doole ci fàttaliku bu leer ak xalaat ci contexte). Dafay yokk itam ay njaxasu-ekspert (MoE) ngir yokk kàttan gi, boole ci tëye ay parametre yuy dox. Jamba bi njëkka génn ak palanteer bu 256K-token te mënoon na jëfandikoo lu gëna bari ci benn GPU bu gëna Transformers yuñ mëna méngale, ndax cache KV bi gëna ndaw.
Gis-gis xarala
Mamba xeetu espace-state selective la: ludul bàyyi xel ci bépp token bu weesu, dafay tëye stade recurrent buñ kompresse buy yeesal lineairement ci kaw sequence bi, ak gating bu aju ci dugal biy dogal li ñu wara denc wala fàtte. Jamba dafay boole ay couche yu mat sëkk ci biir couche Mamba yu bari suko defee model bi mëna tëye seetlu bu sori bi gëna bari ci ordinatër bi ak mémoire bi ñuy des ci ligneer, te MoE routing dafay aktive benn subset bu eksper ci token bu nekk.
Maîtrisé des modèles de transformateur hybride Jamba-mamba
Jamba xeetu làkk bu mag la bu bawoo ci AI21 Labs buy boole ay couche yuy bàyyi xel ci Transformer ak ay couche espace-state Mamba (ak njaxasu eksper yi) ngir am njariñu contexte bu yàgg te baña bàyyi kalite Transformer bi. Dafa am solo ndax dafay wane ni architecture hybrid yi mën nañu raw Transformers yu sell yi ci mémoire ak ci produit yi ci guddaayi sequence yu gudd. Jamba Hybrid Transformer-Mamba Models bokk na ci lakk-IA yi ñuy jëfandikoo ngir jàng, defar, xaaj, ak soppi mbind ak wax ci eskaal. Ngir tabax xam-xam bu xóot, jàpp Jamba Hybrid Transformer-Mamba Models ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo Jamba Hybrid Transformer-Modèle Mamba dañuy jëmmal ay laaj, seet, ak xoolaat ay bouclage ni benn sistem jokkoo buñ boole. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi. Ci jamano jooju, mbiri Hallucinated mën nañu dugg ci rapoor yi, jàppale flow yi, wala gëstu yi génne. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi.
Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Dafay yaatal jëfandikoo gi ci làkk yi ak ci anam yi ñuy jokkoo.
Dafay yaatal jëfandikoo gi ci làkk yi ak ci anam yi ñuy jokkoo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekip yi mën nañu gëna yàgg ci àtte ci jamono ji otomatisation di liggéey ci baamtu.
Ekip yi mën nañu gëna yàgg ci àtte ci jamono ji otomatisation di liggéey ci baamtu. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Doxal 256K-token duggal lu melni fichier legal yu gudd wala dencukaay kode yu yaatu ci benn GPU bu mënul méngoo ak Transformer's KV cache
Serwiis chat bu am njariñ bu yaatu, fu nekkinu Mamba di tëye mémoire bi waxtaan yi di gëna màgg
Càmbaru këyitu dokimaa ak defar-yokkum ci xam-xam bu yaatu lool buñ dugal ci muy tekki
Doxal ab LLM bu ubbeeku ci anam wu yaatu (Jamba génnewoon nañu ko ak ay poid yu ubbeeku) ngir gëstu ci architecture hybrid
Modèlu jëfandikoo
Modèles de transformateur hybride Jamba-mamba en pratique
Liggéeyukaay 256K-token duggal yu melni fichier legal yu gudd wala dencukaay kode yu mag ci benn GPU bu mënul méngoo ak cache KV bu Transformer.
Liggéeyukaay 256K-token duggal lu melni fichier legal yu gudd wala dencukaay kode yu mag ci benn GPU bu mënuwoon méngoo ak Transformer's KV cache Teams dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir produit yu bari, ak topp both.
Modèles de transformateur hybride Jamba-mamba en pratique
Serwiis chat contexte bu gudd ak produit bu bari, fu stade fixe bu Mamba di tëye mémoire bi waxtaan yi di gëna màgg.
Serwiis chat bu yàgg bu am produit bu bari, fu stade fixe bu Mamba di tëye memory bi, waxtaan yi di màgg. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bu gàtt.
Modèles de transformateur hybride Jamba-mamba en pratique
Càmbaru këyitu dokimaa ak yokkute ci defar ci kaw base xam-xam yu yaatu lool yuñ dugal ci contexte bi.
Document analysis ak retrieval-augmented generation ci kaw xam-xam bu yaatu lool buñ dugal ci contexte. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Modèles de transformateur hybride Jamba-mamba en pratique
Doxal ab LLM bu ubbeeku ci anam wu yaatu (Jamba génnewoon nañu ko ak ay poid yu ubbeeku) ngir gëstu ci architecture hybride.
Doxal ab LLM bu ubbeeku ci anam wu gudd (Jamba génnewoon na ak ay poid yu ubbeeku) ngir gëstu ci architecture hybrid Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njëgu njuumte yi ci diir bi.
Risk yi ak balustrade yi
Lépp lu jaarul yoon mën na dugg ci rapoor yi, jàppale ci liggéey bi, wala ci njariñu gëstu bi.
Sensibilite bu gaaw mën na jur njariñ yu wuute ci laajte yu noonu mel.
Done yu am solo mën nañu feeñ sudee seytu jëfandikoo gi néew doole.
Roadmap ngir samp gi
Mandargal formaa génne gi, melokaan bi, ak standard kalite yi laata ngay dugal ko.
Mandargal formaa génne gi, melokaan bi, ak standard kalite yi laata ngay dugal ko. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Tontu yu am solo ak balluwaay yu wóor saa yu dëggu bi di am solo.
Tontu yu am solo ak balluwaay yu wóor saa yu dëggu bi di am solo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Fexeel am barabu xool nit ñi ngir am njariñ yu am solo.
Fexeel am barabu xool nit ñi ngir am njariñ yu am solo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Toppal anami gacce yi ak di faral di tàggataat ay laaj wala def-liggéey.
Toppal anami gacce yi ak di faral di tàggataat ay laaj wala def-liggéey. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.