InayofuataMwongozo unaofuata
Mifano ya Nafasi za Jimbo na Mamba
Misingi
Lugha AI MWONGOZO
Mamba na Nafasi Teule za Jimbo
Mamba ni muundo wa mfuatano uliojengwa juu ya miundo ya anga za juu (SSM) ambayo huchakata maandishi kwa muda wa mstari, ikitoa njia mbadala ya haraka kwa umakini wa mara nne wa Transformer.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
Dive ya kina
Mamba, iliyoletwa na Albert Gu na Tri Dao mwishoni mwa 2023, imejengwa juu ya miundo ya anga za juu za serikali. SSM ya kawaida hubana historia nzima ya mfuatano katika hali iliyofichwa ya ukubwa usiobadilika na kuisasisha hatua kwa hatua, kama mtandao wa kisasa unaorudiwa. Mafanikio ni kuchagua: Mamba hufanya vigezo vya SSM (ni kiasi gani cha kuweka, ni kiasi gani cha kuruhusu) hutegemea ishara ya sasa, hivyo mfano unaweza kuzingatia maneno muhimu na kupuuza filler. Hii huruhusu hali moja ya saizi isiyobadilika kutenda kama kumbukumbu inayofahamu yaliyomo. Kwa sababu inaepuka kulinganisha kila tokeni na kila tokeni nyingine, Mamba huweka mizani kwa kufuatana na urefu wa mfuatano na hukaa kwa kasi kwenye ingizo refu sana kama vile jenomu, sauti au maandishi ya urefu wa kitabu.
Utekelezaji wa Ulimwengu Halisi
Kuiga mifuatano mirefu ya DNA ambapo Transfoma za toni milioni ni ghali sana
Inawezesha visaidizi vya lugha vya muktadha mrefu ambavyo vinatoa muhtasari wa vitabu vizima bila kukatwa
Uzalishaji wa sauti katika wakati halisi na muundo wa usemi ambao huchakata mawimbi ghafi kwa ufanisi
Utumiaji wa kifaa au ukingo ambapo hali ndogo ya saizi isiyobadilika huokoa kumbukumbu dhidi ya akiba ya umakini inayokua.
Mustakabali wa Mamba na Nafasi Teule za Jimbo
Mamba na mrithi wake Mamba-2 wanajiingiza katika usanifu wa mseto ambao hutenganisha tabaka chache za umakini na tabaka nyingi za SSM, na kukamata nguvu za zote mbili. Tarajia SSM katika visaidizi vya muktadha mrefu, miundo ya kwenye kifaa ambapo kumbukumbu imefinywa, na vikoa visivyo vya maandishi kama vile DNA na sauti. Utafiti unachunguza ikiwa SSM safi zinaweza kulingana na Transfoma kwenye kazi zinazohitaji kukumbukwa kwa usahihi, na ikiwa zitafikia saizi kubwa zaidi za modeli.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
- Kufikia na kufikia. Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
- Maamuzi ya wazi zaidi. Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Jihadharini na
- Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
- Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
- Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Hatua zinazofuata
- Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
- Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
- Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
- Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Mamba and Selective State Spaces quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Mamba and Selective State Spaces?
Mamba ni muundo wa mfuatano uliojengwa juu ya miundo ya anga za juu (SSM) ambayo huchakata maandishi kwa muda wa mstari, ikitoa njia mbadala ya haraka kwa umakini wa mara nne wa Transformer. Ujanja wake muhimu ni kufanya mtindo kuamua kwa kuchagua nini cha kukumbuka na kusahau kulingana na ingizo lenyewe.
Ni faida gani kuu ya hesabu ya Mamba juu ya Transfoma ya kawaida?
Mamba huepuka ulinganisho wa tokeni za jozi zote, kwa hivyo gharama yake hukua kwa kufuatana na urefu wa mfuatano badala ya kuzingatiwa mara nne.
Neno 'mteule' linarejelea nini katika Mamba?
Uteuzi unamaanisha vigezo kama vile B, C, na delta kuwa vitendaji vya ingizo la sasa, kutoa kumbukumbu inayofahamu yaliyomo.
Je, mtindo wa anga za juu unawakilishaje historia ya mfuatano?
SSM ni miundo ya mtindo unaorudiwa ambayo hukunja zamani katika hali ya saizi isiyobadilika, sawa na RNN.
Kwa nini Mamba haiwezi kutumia njia ya mkato ya mkato ya haraka ambayo SSM ilitumia hapo awali?
Mtazamo wa ubadilishaji unahitaji vigezo vilivyowekwa (siobadilika kwa wakati); vigezo vinavyotegemea pembejeo huvunja hiyo, kwa hivyo Mamba hutumia skanisho sambamba badala yake.
Je, Mamba anatumia mbinu gani kukaa haraka licha ya kupoteza njia ya mkato ya mapinduzi?
Mamba hutumia uchanganuzi unaotambua maunzi ambao huweka hali ya kati katika SRAM ya haraka ili kurejesha utumaji.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii