Jamba Arabara Amunawa-Mamba Models
Jamba jẹ awoṣe ede ti o tobi lati AI21 Labs ti o ṣe agbewọle awọn ipele ifarabalẹ Transformer pẹlu awọn ipele aaye-aye Mamba (pẹlu idapọ-awọn amoye) lati gba ṣiṣe-ọrọ-gigun laisi fifun didara Transformer.
Akopọ
O ṣe pataki nitori pe o fihan pe awọn faaji arabara le lu awọn Transformers mimọ lori iranti ati gbigbe ni awọn gigun gigun.
Jin Dive
Awọn Ayirapada mimọ san idiyele kuadiratiki ni akiyesi bi ọrọ-ọrọ ti n dagba, ati awọn fọndugbẹ kaṣe bọtini iye wọn pẹlu gigun lẹsẹsẹ. Awọn awoṣe aaye-aye mimọ bii iwọn Mamba laini ati tọju ipo loorekoore iwọn ti o wa titi, ṣugbọn akiyesi aisun itan-akọọlẹ lori diẹ ninu awọn iṣẹ ṣiṣe. Jamba dapọ awọn mejeeji: o ṣe akopọ awọn bulọọki nibiti ọpọlọpọ awọn fẹlẹfẹlẹ jẹ Mamba (olowo poku, laini, nla fun awọn ilana gigun) ati nọmba ti o kere ju jẹ akiyesi boṣewa (lagbara ni iranti pipe ati ero inu-ọrọ). O tun ṣafikun awọn fẹlẹfẹlẹ-awọn alamọja (MoE) lati dagba agbara lakoko ti o tọju iwọntunwọnsi awọn paramita ti nṣiṣe lọwọ. Jamba akọkọ ti tu silẹ pẹlu window ọrọ-ọrọ ami-ami 256K ati pe o le baamu aaye pupọ diẹ sii lori GPU kan ju Awọn Ayirapada afiwera, o ṣeun si kaṣe KV ti o kere pupọ.
Imọ-imọ-ẹrọ
Mamba jẹ awoṣe aaye-ipin ti yiyan: dipo wiwa si gbogbo ami ami ti o kọja, o ṣetọju ipo atunwi fisinuirindigbindigbin ni laini lori ọkọọkan, pẹlu ẹnu-ọna ti o gbẹkẹle titẹ sii ti o pinnu kini lati tọju tabi gbagbe. Jamba ṣe ifarabalẹ awọn ipele ifarabalẹ ni kikun laarin ọpọlọpọ awọn fẹlẹfẹlẹ Mamba nitorinaa awoṣe naa ṣe idaduro wiwa akiyesi gigun gangan lakoko ti pupọ julọ iṣiro ati iranti duro laini, ati pe ipa ọna MoE n mu ipin kan ti awọn amoye ṣiṣẹ fun ami kan.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Jamba arabara Amunawa-Mamba Models
Ifarabalẹ arabara pẹlu awọn apẹrẹ aaye-ipinlẹ n yọ jade bi ohunelo aṣaaju fun awọn awoṣe ọrọ-ọrọ gigun to munadoko, ati Jamba ṣe iranlọwọ lati jẹki apẹrẹ naa. Reti diẹ sii ṣiṣi ati awọn awoṣe aala lati gba awọn akopọ idapọmọra, ṣatunṣe ipin akiyesi-si-SSM, ki o darapọ wọn pẹlu awọn ẹtan MoE ati KV-cache. Bi awọn ibeere ọrọ-ọrọ ṣe dagba si awọn miliọnu awọn ami ami, anfani iranti laini ti awọn fẹlẹfẹlẹ aaye-ipinlẹ jẹ ki awọn arabara paapaa wuni fun ẹrọ ati awọn imuṣiṣẹ ti o ni idiyele idiyele.
Real-World imuse
Ṣiṣe awọn igbewọle ami-ami 256K bii awọn ifilọlẹ ofin gigun tabi awọn ibi ipamọ koodu nla lori GPU kan ti ko le baamu kaṣe Amunawa KV afiwera
Nsin iwiregbe ọrọ-giga-giga nibiti ipo ti o wa titi ti Mamba jẹ ki iranti jẹ ki o duro pẹlẹ bi awọn ibaraẹnisọrọ ti n dagba
Iṣiro iwe-ipamọ ati iran imupadabọ-pada lori awọn ipilẹ imọ ti o tobi pupọ ti o kun taara sinu ọrọ-ọrọ
Nṣiṣẹ iwuwo-ìmọ iwuwo-gigun LLM (Jamba ti tu silẹ pẹlu awọn òṣuwọn ṣiṣi) fun iwadii sinu awọn faaji arabara
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jamba Hybrid Transformer-Mamba Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
State Space Models ati Mamba
Awọn ibeere ti a beere nigbagbogbo
Kini awọn awoṣe Jamba Hybrid Transformer-Mamba?
Jamba jẹ awoṣe ede ti o tobi lati AI21 Labs ti o ṣe agbewọle awọn ipele ifarabalẹ Transformer pẹlu awọn ipele aaye-aye Mamba (pẹlu idapọ-awọn amoye) lati gba ṣiṣe-ọrọ-gigun laisi fifun didara Transformer. O ṣe pataki nitori pe o fihan awọn ile ayaworan arabara le lu Awọn Ayirapada mimọ lori iranti ati iṣelọpọ ni awọn gigun ọkọọkan gigun.
Iru Layer mojuto meji wo ni Jamba ṣe interleave?
Ẹya asọye Jamba n ṣe akopọ awọn ipele aaye-aye Mamba papọ pẹlu nọmba ti o kere ju ti awọn fẹlẹfẹlẹ akiyesi Amunawa.
Imọ-ẹrọ afikun wo ni Jamba lo lati mu agbara pọ si lakoko ti o tọju awọn aye ti nṣiṣe lọwọ kekere?
Jamba ṣe afikun awọn fẹlẹfẹlẹ MoE nitoribẹẹ ipin ti awọn amoye nikan n ṣiṣẹ fun ami-ami kan, dagba lapapọ laisi iṣiro dagba ni iwọn.
Kini idi ti iwọn Mamba dara ju akiyesi fun awọn ilana gigun?
Mamba ṣe itọju fisinuirindigbindigbin, ipo iwọn ti o wa titi ti a ṣe imudojuiwọn ni laini, yago fun idiyele akiyesi kuadiratiki ati kaṣe iye bọtini-dagba nigbagbogbo.
Ferese ọrọ-ọrọ wo ni awoṣe Jamba akọkọ ṣe atilẹyin?
Jamba ṣe ifilọlẹ pẹlu ferese ọrọ-ọrọ ami-ami 256K, ti ṣiṣẹ ni pataki nipasẹ ifẹsẹtẹ KV-cache kekere rẹ.
Kini idi ti Jamba ṣe tọju awọn ipele akiyesi diẹ ju ki o lọ Mamba mimọ?
Awọn ipele ifarabalẹ ni kikun diẹ ṣe idaduro wiwa gangan ati awọn agbara inu-ọrọ nibiti awọn awoṣe ipo-aye mimọ le jẹ aisun.