Fiiro gaar ah
Feejignaanta Flash waa hab xariif ah oo lagu xisaabiyo tallaabada dareenka gudaha Transformers iyada oo aan waligeed la qorin jaantuska dareenka weyn si loo yareeyo xusuusta.
Dulmar
It makes long-context models far faster and more memory-efficient without changing their math.
quusid qoto dheer
Dareenka caadiga ah wuxuu isbarbar dhigayaa calaamad kasta iyo calaamad kasta oo kale, isagoo soo saaraya shaxanka buundada N-by-N kaas oo afar ahaan u koraaya dhererka isku xigxiga. Si fudud, shaxanka waxaa loo qoraa oo dib looga akhriyaa xusuusta-bandwidth-sare ee GPU (HBM), iyo xiritaanka - ma aha isku dhufashada - waa cirifka dhabta ah. Fiishka Feejignaanta, oo ay soo bandhigeen Tri Dao iyo asxaabtiisa sanadka 2022, ayaa dib u habeeya xisaabinta si jaantusku waligiis si buuxda loo kaydin. Waxay ka baartaa su'aalaha, furayaasha, iyo qiyamka foornada yaryar ee ku habboon si degdeg ah SRAM on-chip, waxay xisaabisaa natiijooyinka qayb ahaan, waxayna isku dhejisaa iyaga oo isticmaalaya khiyaamo-socodka-softmax online. Wax soo saarku xisaab ahaan waxa uu la mid yahay dareenka caadiga ah laakiin waxa uu isticmaalaa xusuusta toosan oo uu dhawr jeer si dhakhso ah u socdaa, gaar ahaan isku xigxiga dheer.
Aragtida Farsamada
Xeeladda muhiimka ah waa tiling iyo softmax online ah. Softmax caadiyan waxa ay u baahantahay dhibcooyinka oo dhan si ay u xisaabiso qiimeeheeda, laakiin Flash Attention waxa ay haysaa inta ugu badan ee socota iyo wadarta wadarta marka ay daadiso tile kasta, iyada oo dib u habeynaysa wax soo saarkii hore ee qayb ahaan markaa natiijada kama dambaysta ahi waa sax. Sababtoo ah buundooyinka dhexdhexaadka ah waxay ku sii jiraan SRAM (amarrada cabbirka ka dhaqso badan HBM), algorithmisku waa IO-awareer: waxay yaraynaysaa akhrinta xusuusta iyo qorista halkii ay ka ahaan lahayd hawlgallada xisaabta cayriin.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka Feejignaanta Flash
Fiishka Feejignaanta wuxuu noqday dhisme aan caadi ahayn, iyadoo FlashAttention-2 iyo FlashAttention-3 ay ku tuujinayaan wax soo saar badan oo ka yimid GPU-yada cusub sida H100 iyagoo hagaajinaya qaybinta shaqada iyo ka faa'iidaysiga waddooyinka FP8 ee hooseeya. Filo in la sii wado naqshadaynta qalabka, is dhexgalka adag ee tababarka iyo qaab-dhismeedka kala-duwanaanta, iyo kala duwanaanshiyaha loo habeeyey si aan badnayn, daaqad simbiriirixan leh, iyo dareenka macnaha guud ee aadka u dheer. Maaddaama daaqadaha macnaha guud ay u fidayaan malaayiin calaamado ah, kernels-ka IO-og ee sidan oo kale ah ayaa weli muhiim u ah ilaalinta xusuusta iyo xawaaraha wax ku ool ah.
Dhaqangelinta Adduunka-dhabta ah
Tababarka moodooyinka luqadaha waaweyn sida Llama iyo nidaamyada-GPT-ga oo leh daaqado macno dheer oo qiimo jaban leh.
U adeegista kaaliyeyaasha wada sheekaysiga si dhakhso leh iyadoo la dedejinayo heerka buuxinta halkaasoo degdegga dheer marka hore la akhriyo.
Awood-siinta qalabka-falanqaynta dukumeentiga ee soo geliya buugaag dhan ama saldhigyada koodka iyadoo la samaynayo dareenka taxanaha dheer ee suurtogalka ah hal GPU.
Awood-siinta aragga iyo Transformers-ka maqalka halkaasoo wax-soo-gelinta xallinta sare ay abuurto taxane calaamado aad u dheer.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Flash Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Bixinta Feejignaanta iyo Goynta Madaxa
Su'aalaha soo noqnoqda
What is Flash Attention?
Feejignaanta Flash waa hab xariif ah oo lagu xisaabiyo tallaabada dareenka gudaha Transformers iyada oo aan waligeed la qorin jaantuska dareenka weyn si loo yareeyo xusuusta. Waxa ay ka dhigaysa moodellada muddada-dheer aad u dheereeya oo ka waxtar badan xusuusta iyaga oo aan beddelin xisaabtooda.
Waa maxay cilladda ugu weyn ee Flash Feejignaanta bartilmaameedsanayo?
Feejignaanta Flash waa IO-og: waxay yaraynaysaa xogta ku xidhan inta u dhaxaysa xawaaraha SRAM on-chip-ka iyo xusuusta-bandwidth-ga gaabis ah, taas oo ah cilada dhabta ah ee aan ahayn xisaabta lafteeda.
Sidee Fiishka Feejignaanta uga fogaanayaa kaydinta fiirsashada N-by-N buuxda?
Waxay xirtaa xisaabinta si block kasta uu ugu habboonaado SRAM degdeg ah, xisaabinta iyo ururinta wax soo saarka qayb ahaan iyada oo aan waligeed la hirgelin dhammaan matrixka HBM.
Farsamo noocee ah ayaa u oggolaanaysa Flash Attention inay si sax ah u xisaabiso softmax iyada oo aan la arkin safka oo dhan hal mar?
Software-ka online-ka ah ee softmax wuxuu xajiyaa socodsiinta ugu badnaan iyo socodsiinta hooseeyaha inta uu qulqulayo taayirada, dib u habeynta wax soo saarkii hore ee qayb ahaan sidaa caadada u ah kama dambaysta waa sax.
Waa maxay sababta Flash Attention ugu caawiso taxanaha dheer?
Matrix-ka dareenka caajisku wuxuu u miisaamaa sida N-squared ee xusuusta, sidaa darteed ka fogaanshaha kaydinteeda buuxda waxay keenaysaa kaydka ugu weyn ee saxda ah marka taxaneyaashu dheer yihiin.
Muxuu nashqada 'IO-aware' ee feejignaanta Flash mudnaan siinayaa yaraynta?
IO-aware macneheedu waa algoorithm waxaa loogu talagalay in lagu qiyaaso qiimaha dhaqdhaqaaqa xogta ee kala sareynta xusuusta, iyadoo la yareynayo taraafikada HBM halkii ay ka ahaan lahayd hawlgallada xisaabta.