Feejignaanta daaqada simbiriirixaya
Dariishada simbiriirixa leh waxay xaddidaysaa calaamad kasta inuu tago oo keliya xaafad cabbir go'an oo calaamado dhow ah beddelkii dhammaan taxanaha oo dhan.
Dulmar
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
quusid qoto dheer
Heerarka is-fiirinta ayaa isbarbar dhigaya calaamad kasta iyo calaamad kasta oo kale, sidaa darteed isku xigxiga dhererka N wuxuu u baahan yahay qiyaas ahaan isbarbardhigga N-squared. Daaqadaha silbashada leh ayaa tan hagaajiya iyadoo siinaya calaamad kasta daaqad cabbirka W ah (dheh 4,096 calaamadood) oo kaliya oo la xiriira deriska gudaha daaqadaas. Qiimuhu wuxuu u koraa N times W halkii uu ka ahaan lahaa N-squared. Muhiimad ahaan, isugaynta lakabyo badan oo daaqado leh ayaa balaadhinaya goobta wax-ku-oolka ah ee soo dhawaynta: lakabyada L ka dib, macluumaadku waxay ku faafi karaan qiyaas ahaan L times W calaamado, sida beerta soo dhawaynta ee CNN ee sii kordheysa. Mistral 7B waxa ay tan ku faafisay 4,096-token oo ka kooban 32 lakab, iyada oo gaadhay dhererka 131K-token. Moodooyinka badanaa waxay isku daraan lakabyo daaqado leh iyo lakabyo foojignaan buuxa ah oo marmar ah si loo ilaaliyo isku xirka fogaanta.
Aragtida Farsamada
Maaskarada feejignaanta, su'aalaha booska i waxaa loo ogol yahay oo kaliya in lagu arko furayaasha boosaska i laga jaray W lagu daray 1 ilaa i (kiis sababta). Maaskaradan aadka u yar waxay ka dhigan tahay kaydka KV wuxuu kaliya u baahan yahay calaamadaha W ee ugu dambeeya lakabkiiba, oo dilaya xusuusta inta lagu jiro jiilka. Sababtoo ah daaqadu waxay ku beddeshaa calaamad kasta oo cusub, waxay si dabiici ah ula lammaanaysaa kaydka kaydinta rogroga ah kaas oo dib u qora gelinta ugu da'da weyn halkii uu weligiis sii koraan.
Saamaynta Istiraatijiyadeed
Xawaaraha iyo miisaanka
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Helitaanka iyo gaarsiinta
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Go'aamo cad
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Mustaqbalka Feejignaanta Daaqadda Simbiriirixidda
Naqshado isku-dhafan ayaa hadda ka dhex baxaya dhawr lakab oo caalami ah ama foojignaan buuxda oo ka mid ah lakabyo badan oo simbiriirixan leh, iyaga oo dheellitiraya waxtarka iyo sababaynta fog ee dhabta ah. Gemma 2 iyo kuwa kale waxay beddelaan baloogyada maxalliga ah iyo kuwa caalamiga ah. Filo dareenka daaqada in lagu daro moodooyinka-meel-goboleedka, meelaha fiiro gaar ah loo yeesho, iyo isku-buufinta KV-cache si moodellada xuduuduhu u qabtaan malyuun-calaamad iyada oo aan lahayn xusuusta carartay. Waxay noqonaysaa dhisme aan caadi ahayn halkii ay ka ahaan lahayd tayaynta qalaad.
Dhaqangelinta Adduunka-dhabta ah
Mistral 7B waxay isticmaashaa 4,096-token daaqado simbiriirixan ah oo dhexmara lakabkeeda si ay wax uga qabato soo-jeedinta dheer si raqiis ah GPU-yada macaamiisha ah.
Longformer waxa ay khusaysaa dareenka daaqadaha iyo dhawr calaamadood oo caalami ah si loo kala saaro oo loo soo koobo dukumeenti bogag badan leh.
Gemma 2 waxa ay beddeshaa lakabyada daaqadaha silbanaya ee maxaliga ah oo leh lakabyo feejignaan caalami ah si loo dheellitiro xawaaraha iyo soo celinta fogaanta fog.
Rolling-buffer KV khasnadaha ku jira kaaliyeyaasha wada sheekaysiga waxa ay hayaan kaliya daaqaddii ugu dambaysay ee calaamadihii, iyaga oo xajiya xusuusta inta lagu jiro wada sheekaysiga dheer.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Feejignaan-kooxeed
Su'aalaha soo noqnoqda
What is Sliding Window Attention?
Dariishada simbiriirixa leh waxay xaddidaysaa calaamad kasta inuu tago oo keliya xaafad cabbir go'an oo calaamado dhow ah beddelkii dhammaan taxanaha oo dhan. Tani waxay yaraynaysaa qiimaha afar geesoodka ah ee dareenka caadiga ah ilaa toosan, taasoo ka dhigaysa moodooyinka mawduuca dheer aad uga jaban in la ordo.
Waa maxay faa'iidada xisaabeed ee ugu weyn ee dareenka daaqada simbiriirixan marka loo eego feejignaanta caadiga ah?
Marka la xaddido calaamad kasta daaqad go'an ee deriska W, qiimuhu wuxuu u koraa N times W (toosan ee N) halkii uu ka ahaan lahaa N-squared.
Naqshadaynta Mistral 7B, sidee bay xogtu wali ugu socon kartaa meel ka fog hal daaqad 4,096-token ah?
Sida CNN-ka, lakab kastaa waxa uu sii riixayaa macluumaadka hal daaqad oo dheeraad ah, sidaa darteed lakabyada L waxay siinayaan taako wax ku ool ah oo qiyaas ahaan L times W.
Waa maxay sababta dareenka daaqada ee simbiriirixan u dhimo xusuusta inta lagu jiro qoraalka qoraalka?
Mar haddii calaamaddu ay dhigto daaqadeeda dhow, furaha/qiimaha gelinta hore waa la tuuri karaa, inta badan iyada oo loo marayo kaydka kaydinta duuban.
Doorasho noocee ah ayaa moodooyinka sida Gemma 2 isticmaalaan iyagoo barbar socda daaqadaha simbiriirixiinta leh si ay u ilaaliyaan caqliga fog?
Isku-darka lakabyo caalami ah/fiiro-buuxa ah oo marmar ah oo dhexmara kuwa maxalliga ah waxay ilaalinaysaa isku-xiryada fogaanta dhabta ah ee daaqadaha saafiga ah daciifiyo.
Daaqad simbiriirixan sabab u ah cabbirka W, furayaalkee ayaa weydiin kara booska aan xaadiro?
Marka la eego kiiska sababta, weydiintu waxay arkaysaa lafteeda iyo W laga jaray 1 calaamad isla markiiba ka hor, waligeed calaamado mustaqbalka ah.