Akopọ
Jamba jẹ awoṣe ede ti o tobi lati AI21 Labs ti o ṣe agbewọle awọn ipele ifarabalẹ Transformer pẹlu awọn ipele aaye-aye Mamba (pẹlu idapọ-awọn amoye) lati gba ṣiṣe-ọrọ-gigun laisi fifun didara Transformer. O ṣe pataki nitori pe o fihan awọn ile ayaworan arabara le lu Awọn Ayirapada mimọ lori iranti ati iṣelọpọ ni awọn gigun ọkọọkan gigun.
Jamba Hybrid Transformer-Mamba Models jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe iyatọ, ati yi ọrọ ati ọrọ pada ni iwọn.
Jin Dive
Awọn Ayirapada mimọ san idiyele kuadiratiki ni akiyesi bi ọrọ-ọrọ ti n dagba, ati awọn fọndugbẹ kaṣe bọtini iye wọn pẹlu gigun lẹsẹsẹ. Awọn awoṣe aaye-aye mimọ bii iwọn Mamba laini ati tọju ipo loorekoore iwọn ti o wa titi, ṣugbọn akiyesi aisun itan-akọọlẹ lori diẹ ninu awọn iṣẹ ṣiṣe. Jamba dapọ awọn mejeeji: o ṣe akopọ awọn bulọọki nibiti ọpọlọpọ awọn fẹlẹfẹlẹ jẹ Mamba (olowo poku, laini, nla fun awọn ilana gigun) ati nọmba ti o kere ju jẹ akiyesi boṣewa (lagbara ni iranti pipe ati ero inu-ọrọ). O tun ṣafikun awọn fẹlẹfẹlẹ-awọn alamọja (MoE) lati dagba agbara lakoko ti o tọju iwọntunwọnsi awọn paramita ti nṣiṣe lọwọ. Jamba akọkọ ti tu silẹ pẹlu window ọrọ-ọrọ ami-ami 256K ati pe o le baamu aaye pupọ diẹ sii lori GPU kan ju Awọn Ayirapada afiwera, o ṣeun si kaṣe KV ti o kere pupọ.
Imọ-imọ-ẹrọ
Mamba jẹ awoṣe aaye-ipin ti yiyan: dipo wiwa si gbogbo ami ami ti o kọja, o ṣetọju ipo atunwi fisinuirindigbindigbin ni laini lori ọkọọkan, pẹlu ẹnu-ọna ti o gbẹkẹle titẹ sii ti o pinnu kini lati tọju tabi gbagbe. Jamba ṣe ifarabalẹ awọn ipele ifarabalẹ ni kikun laarin ọpọlọpọ awọn fẹlẹfẹlẹ Mamba nitorinaa awoṣe naa ṣe idaduro wiwa akiyesi gigun gangan lakoko ti pupọ julọ iṣiro ati iranti duro laini, ati pe ipa ọna MoE n mu ipin kan ti awọn amoye ṣiṣẹ fun ami kan.
Titunto si Jamba arabara Amunawa-Mamba Models
Jamba jẹ awoṣe ede ti o tobi lati AI21 Labs ti o ṣe agbewọle awọn ipele ifarabalẹ Transformer pẹlu awọn ipele aaye-aye Mamba (pẹlu idapọ-awọn amoye) lati gba ṣiṣe-ọrọ-gigun laisi fifun didara Transformer. O ṣe pataki nitori pe o fihan awọn ile ayaworan arabara le lu Awọn Ayirapada mimọ lori iranti ati iṣelọpọ ni awọn gigun ọkọọkan gigun. Jamba Hybrid Transformer-Mamba Models jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe iyatọ, ati yi ọrọ ati ọrọ pada ni iwọn. Lati kọ oye ti o jinlẹ, tọju Jamba Hybrid Transformer-Mamba Models bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo Jamba Hybrid Transformer-Mamba Models apẹrẹ awọn itọsi, imupadabọ, ati atunyẹwo awọn losiwajulosehin bi eto ibaraẹnisọrọ iṣọpọ kan. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni akoko kanna, awọn otitọ hallucinated le tẹ awọn ijabọ laiparuwo, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Ṣiṣe awọn igbewọle ami-ami 256K bii awọn ifilọlẹ ofin gigun tabi awọn ibi ipamọ koodu nla lori GPU kan ti ko le baamu kaṣe Amunawa KV afiwera
Nsin iwiregbe ọrọ-giga-giga nibiti ipo ti o wa titi ti Mamba jẹ ki iranti jẹ ki o duro pẹlẹ bi awọn ibaraẹnisọrọ ti n dagba
Iṣiro iwe-ipamọ ati iran imupadabọ-pada lori awọn ipilẹ imọ ti o tobi pupọ ti o kun taara sinu ọrọ-ọrọ
Nṣiṣẹ iwuwo-ìmọ iwuwo-gigun LLM (Jamba ti tu silẹ pẹlu awọn òṣuwọn ṣiṣi) fun iwadii sinu awọn faaji arabara
Awọn Ilana imuse
Jamba Arabara Amunawa-Mamba Awọn awoṣe ni iṣe
Ṣiṣe awọn igbewọle ami-ami 256K bii awọn ifilọlẹ ofin gigun tabi awọn ibi ipamọ koodu nla lori GPU kan ti ko le baamu kaṣe Amunawa KV afiwera.
Ṣiṣe awọn igbewọle 256K-àmi bi awọn ifasilẹ ofin gigun tabi awọn ibi ipamọ koodu nla lori GPU kan ti ko le baamu awọn ẹgbẹ kaṣe Amunawa KV ti o jọra nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpinpin awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Jamba Arabara Amunawa-Mamba Awọn awoṣe ni iṣe
Nsin iwiregbe ọrọ-giga-giga nibiti ipo ti o wa titi ti Mamba jẹ ki iranti duro pẹlẹ bi awọn ibaraẹnisọrọ ti ndagba.
Nṣiṣẹ iwiregbe ọrọ-giga gigun-giga nibiti ipo ti o wa titi ti Mamba ṣe itọju iranti alapin bi awọn ibaraẹnisọrọ ti ndagba Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ẹnu-ọna didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Jamba Arabara Amunawa-Mamba Awọn awoṣe ni iṣe
Iṣiro iwe-ipamọ ati iran imupadabọ-pada lori awọn ipilẹ imọ ti o tobi pupọ ti o kun taara sinu ọrọ-ọrọ.
Itupalẹ iwe-ipamọ ati iran imupadabọ lori awọn ipilẹ oye ti o tobi pupọ sitofudi taara sinu ọrọ-ọrọ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Jamba Arabara Amunawa-Mamba Awọn awoṣe ni iṣe
Nṣiṣẹ iwuwo-ìmọ iwuwo gigun LLM (Jamba ti tu silẹ pẹlu awọn iwuwo ṣiṣi) fun iwadii sinu awọn faaji arabara.
Nṣiṣẹ iwuwo-ìmọ iwuwo gigun LLM (Jamba ti tu silẹ pẹlu awọn iwuwo ṣiṣi) fun iwadii sinu awọn ile ayaworan arabara Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.