Mamba iyo Goobo Dawladeed oo Xul ah
Mamba waa moodal taxane ah oo lagu dhisay moodooyinka gobolka (SSMs) kaas oo ku socodsiiya qoraalka waqti toos ah, oo bixisa beddel degdeg ah oo loogu talagalay dareenka afargeesoodka ah ee Transformer.
Dulmar
Its key trick is making the model selectively decide what to remember and forget based on the input itself.
quusid qoto dheer
Mamba, oo ay soo bandhigeen Albert Gu iyo Tri Dao dabayaaqadii 2023, waxa lagu dhisay moodallo meel dawladeed oo habaysan. SSM-ga caadiga ah waxa uu ku cadaadiyaa dhammaan taariikhda taxanaha oo dhan xaalad qarsoon oo cabbir go'an waxaanu u cusbooneysiiyaa talaabo talaabo, sida shabakad soo noqnoqota oo casri ah. Horumarku waa xulashada: Mamba waxay ka dhigtaa cabbirada SSM (inta la hayo, inta lagu sii daayo) waxay ku xidhan tahay calaamadda hadda jirta, sidaa darteed moodalku wuxuu diiradda saari karaa erayada ku habboon oo uu iska indhatiro buuxinta. Tani waxay u oggolaanaysaa hal gobol oo cabbir go'an inuu u dhaqmo sida xusuusta xog-ogaalka ah. Sababtoo ah waxay ka fogaanaysaa isbarbardhigga calaamad kasta oo kale, Mamba waxay si toos ah u miisaamaysaa dhererka isku xigxiga waxayna ku adkaysataa wax qabadyada aadka u dheer sida genomes, maqalka, ama qoraalka dhererka buugga.
Aragtida Farsamada
Qaabka booska dawladu waxa uu khariidad ka dhigayaa isku xigxiga wax soo saarka iyada oo loo marayo nidaam toosan oo joogto ah oo lagu qeexay matries A, B, C iyo cabirka delta cabirka. SSM-yadii hore waxay hayeen kuwan go'an, taas oo u oggolaanaysa aragti isku dhafan oo degdeg ah. Mamba waxay ka dhigtaa B, C, iyo hawlaha delta ee gelinta, kaas oo jebiya marin-gaabeedka convolution, markaa taa beddelkeeda waxay isticmaashaa sawir isbarbar-bar-bar-bar-bar-dhig ah oo hardware-ogyahay oo lagu hayo GPU SRAM degdeg ah si uu u soo kabsado xawaaraha iyadoo la helayo xusuusta ku-tiirsanaanta.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Mamba iyo Goobaha Gobolka ee Xulashada
Mamba iyo ku-xigeenkiisa Mamba-2 waxay ku riixayaan naqshadaha isku-dhafka ah ee ka dhexeeya dhowr lakab oo taxadar leh oo leh lakabyo badan oo SSM ah, iyaga oo qabsanaya xoogga labadaba. Ka filo SSM-yada kaaliyeyaasha muddada-dheer, moodooyinka aaladda halkaasoo xusuusta xaddidan tahay, iyo meelaha aan qoraalka ahayn sida DNA iyo maqal. Cilmi-baadhistu waxay eegaysaa in SSM-yada saafiga ah ay ku habboonaan karaan Transformers-ka hawlaha u baahan dib-u-celinta saxda ah, iyo haddii ay cabbiraan cabbirrada moodeelka ugu weyn.
Dhaqangelinta Adduunka-dhabta ah
Nashqadeynta taxanaha DNA-da aadka u dheer ee Transformers-ka malaayiinta ah ay aad qaali u yihiin
Awood siinta caawiyayaasha luqadda macnaha dheer oo soo koobaya buugaagta oo dhan iyada oo aan la jarin
Jiilka maqalka ee wakhtiga-dhabta ah iyo qaabaynta hadalka kaas oo u habeeya qaab-dhismeedka mowjadaha cayriin si hufan
Meelaynta qalabka ama geesaha halkaasoo xaalad yar oo cabbir go'an oo soo noqnoqota ay kaydiso xusuusta iyo kaydka dareenka sii kordhaya
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mamba and Selective State Spaces quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Models Space State iyo Mamba
Su'aalaha soo noqnoqda
What is Mamba and Selective State Spaces?
Mamba waa moodal taxane ah oo lagu dhisay moodooyinka gobolka (SSMs) kaas oo ku socodsiiya qoraalka waqti toos ah, oo bixisa beddel degdeg ah oo loogu talagalay dareenka afargeesoodka ah ee Transformer. Xeeladdeeda ugu muhiimsan waa samaynta qaabka si uu u go'aamiyo waxa la xasuusan karo oo la iloobo iyada oo ku saleysan gelinta lafteeda.
Waa maxay faa'iidada xisaabinta ugu weyn ee Mamba marka loo eego Transformer-ka caadiga ah?
Mamba waxay ka fogaataa isbarbardhigga calaamada dhammaan lammaanaha, markaa qiimaheedu wuxuu u koraa si toos ah dhererka isku xigxiga halkii uu ka ahaan lahaa feejignaan afar gees ah.
Waa maxay macnaha erayga 'door' uga jeedaa Mamba?
Xulashada macneheedu waa cabirrada sida B, C, iyo delta waxay noqonayaan shaqooyinka gelinta hadda, iyagoo siinaya xusuusta xog-ogaalka ah.
Sidee buu mooda meel gobolku u taagan yahay taariikhda isku xigxiga?
SSM-yadu waa moodooyinka soo noqnoqda oo laalaabii la soo dhaafay xaalad cabbir go'an, oo la mid ah RNN.
Waa maxay sababta Mamba u isticmaali la'dahay gaabiyaha convolution-ka ee ay SSM-yadii hore isticmaali jireen?
Aragtida convolution waxay u baahan tahay xaddidaadyo go'an (waqti-aan kala duwanayn); Qiyaasaha ku-tiirsanaanta ku-tiirsanaanta ayaa jebiya taas, marka Mamba beddelkeeda waxay isticmaashaa iskaanka barbar socda.
Farsamo noocee ah ayay Mamba isticmaashaa si ay u degdegto inkasta oo ay lumisay marin-gaabiyaha isku-dhafka?
Mamba waxay isticmaashaa sawir-qaran oo qalabaysan oo la xushay kaas oo ku ilaalinaya gobolada dhexe ee SRAM degdeg ah si ay u soo kabtaan wax soo saarka.