Aina za Jamba Hybrid Transformer-Mamba
Jamba ni muundo mkubwa wa lugha kutoka kwa Maabara ya AI21 ambayo huingiliana na tabaka za umakini wa Transfoma na tabaka za anga za juu za Mamba (pamoja na mchanganyiko wa wataalamu) ili kupata ufanisi wa muktadha mrefu bila kuacha ubora wa Transfoma.
Muhtasari
It matters because it shows hybrid architectures can beat pure Transformers on memory and throughput at long sequence lengths.
Dive ya kina
Transfoma Safi hulipa gharama ya quadratic kwa uangalifu kadiri muktadha unavyokua, na baluni zao za kache za thamani kuu zenye urefu wa mfuatano. Miundo safi ya anga za juu kama vile kipimo cha Mamba kwa mstari na huweka hali ya kujirudia ya ukubwa usiobadilika, lakini kihistoria huchelewesha usikivu wa baadhi ya kazi. Jamba huchanganya zote mbili: huweka vizuizi ambapo safu nyingi ni Mamba (nafuu, laini, nzuri kwa mfuatano mrefu) na nambari ndogo ni umakini wa kawaida (imara katika kukumbuka kwa usahihi na hoja ya ndani ya muktadha). Pia huongeza tabaka za mchanganyiko wa wataalam (MoE) ili kukuza uwezo huku ikiweka vigezo amilifu kuwa vya wastani. Jamba ya kwanza iliyotolewa na dirisha la muktadha wa tokeni 256K na inaweza kutoshea muktadha zaidi kwenye GPU moja kuliko Transfoma zinazoweza kulinganishwa, kutokana na akiba yake ndogo sana ya KV.
Ufahamu wa Kiufundi
Mamba ni kielelezo cha nafasi ya serikali kilichochaguliwa: badala ya kuhudhuria kila tokeni iliyopita, hudumisha hali iliyobanwa ya kujirudia iliyosasishwa kwa mstari juu ya mlolongo, na lango linalotegemea ingizo ambalo huamua nini cha kubaki au kusahau. Jamba hukatiza tabaka chache zenye umakini kamili kati ya tabaka nyingi za Mamba ili muundo uhifadhi uangalizi kamili wa masafa marefu huku hesabu nyingi na kumbukumbu zikisalia mstari, na uelekezaji wa MoE huwasha kitengo kidogo cha wataalamu kwa kila tokeni.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Miundo ya Jamba Hybrid Transformer-Mamba
Uangalifu mseto pamoja na miundo ya anga ya juu inaibuka kama kichocheo kikuu cha miundo bora ya muktadha mrefu, na Jamba ilisaidia kutangaza muundo huo maarufu. Tarajia miundo iliyo wazi zaidi na ya mipaka itumike mwingiliano mchanganyiko, kuboresha uwiano wa umakini-kwa-SSM, na uchanganye na hila za MoE na KV-cache. Kadiri mahitaji ya muktadha yanavyokua kuelekea mamilioni ya tokeni, faida ya kumbukumbu ya mstari ya tabaka za anga za juu hufanya mseto kuvutia haswa kwa uwekaji wa kifaa na unaozingatia gharama.
Utekelezaji wa Ulimwengu Halisi
Inachakata pembejeo za tokeni za 256K kama vile majalada marefu ya kisheria au hazina kubwa za msimbo kwenye GPU moja ambayo haikuweza kutoshea kashe ya KV ya Transformer inayoweza kulinganishwa.
Inatoa gumzo la muktadha wa hali ya juu ambapo hali thabiti ya Mamba hudumisha kumbukumbu kadiri mazungumzo yanavyokua.
Uchanganuzi wa hati na kizazi kilichoboreshwa kwa urejeshaji juu ya misingi mikubwa ya maarifa iliyojazwa moja kwa moja kwenye muktadha
Kuendesha LLM ya muktadha wa uzani wazi wa muda mrefu (Jamba ilitolewa na uzani wazi) kwa utafiti wa usanifu mseto.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Jamba Hybrid Transformer-Mamba Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mifano ya Nafasi za Jimbo na Mamba
Maswali yanayoulizwa mara kwa mara
What is Jamba Hybrid Transformer-Mamba Models?
Jamba ni muundo mkubwa wa lugha kutoka kwa Maabara ya AI21 ambayo huingiliana na tabaka za umakini wa Transfoma na tabaka za anga za juu za Mamba (pamoja na mchanganyiko wa wataalamu) ili kupata ufanisi wa muktadha mrefu bila kuacha ubora wa Transfoma. Ni muhimu kwa sababu inaonyesha usanifu wa mseto unaweza kupiga Transfoma safi kwenye kumbukumbu na upitishaji kwa urefu wa mfuatano mrefu.
Je, ni aina gani mbili za tabaka kuu ambazo Jamba huingilia kati?
Kipengele kinachobainisha cha Jamba ni kuweka tabaka za nafasi ya serikali ya Mamba pamoja na idadi ndogo ya tabaka za umakini wa Transfoma.
Je, Jamba hutumia mbinu gani ya ziada kuongeza uwezo huku ikiweka vigezo amilifu kuwa chini?
Jamba huongeza tabaka za MoE kwa hivyo ni kitengo kidogo tu cha wataalam kinachofanya kazi kwa kila tokeni, hukuza jumla ya uwezo bila hesabu inayokua sawia.
Kwa nini Mamba inakua bora kuliko umakini kwa mlolongo mrefu?
Mamba husasisha hali iliyobanwa, ya saizi isiyobadilika kwa mpangilio, ikiepuka gharama ya umakini wa mara nne na akiba ya ufunguo inayokua kila mara.
Je, mtindo wa kwanza wa Jamba uliunga mkono dirisha gani la muktadha?
Jamba ilizinduliwa na dirisha la muktadha la tokeni 256K, likiwashwa kwa kiasi kikubwa na alama yake ndogo ya kache ya KV.
Kwa nini Jamba inaweka tabaka za umakini badala ya kwenda Mamba safi?
Safu chache zenye umakini kamili huhifadhi utazamaji kamili na uwezo wa ndani wa muktadha ambapo miundo safi ya anga ya juu inaweza kulegalega.