Kiwango cha Tahadhari
Flash Attention ni njia ya busara ya kukokotoa hatua ya umakini ndani ya Transfoma bila hata kuandika matrix kubwa ya umakini ili kupunguza kumbukumbu.
Muhtasari
It makes long-context models far faster and more memory-efficient without changing their math.
Dive ya kina
Umakini wa kawaida hulinganisha kila tokeni na kila tokeni nyingine, huzalisha alama ya N-kwa-N ambayo hukua mara nne kwa urefu wa mfuatano. Kwa ujinga, matrix hiyo imeandikwa na kusomwa nyuma kutoka kwa kumbukumbu ya data-bandwidth ya juu ya GPU (HBM), na kwamba kusonga - sio kuzidisha - ndio kikwazo halisi. Flash Attention, iliyoletwa na Tri Dao na wenzake mnamo 2022, inapanga upya hesabu ili matrix isihifadhiwe kikamilifu. Huchakata hoja, funguo na thamani katika vigae vidogo vinavyotoshea kwenye SRAM ya haraka kwenye chip, hukusanya matokeo kwa sehemu, na kuyaunganisha pamoja kwa kutumia mbinu ya mtandaoni inayoendesha-softmax. Matokeo yanafanana kihisabati na umakini wa kawaida lakini hutumia kumbukumbu ya mstari na huendesha kasi mara kadhaa, haswa kwenye mfuatano mrefu.
Ufahamu wa Kiufundi
Ujanja muhimu ni kuweka tiles pamoja na laini ya mtandaoni. Softmax kwa kawaida huhitaji safu mlalo yote ya alama ili kukokotoa kikokoteo chake, lakini Flash Attention huweka jumla ya kukimbia na kukimbia inapotiririsha kila kigae, na kuongeza idadi ya matokeo ya awali ili matokeo ya mwisho yawe sawa. Kwa sababu alama za kati hukaa katika SRAM (maagizo ya ukubwa kwa kasi zaidi kuliko HBM), algoriti inafahamu IO: inapunguza usomaji wa kumbukumbu na kuandika badala ya shughuli ghafi za hesabu.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Umakini wa Flash
Flash Attention imekuwa kigezo chaguo-msingi, huku FlashAttention-2 na FlashAttention-3 zikipunguza upitishaji zaidi kutoka kwa GPU mpya zaidi kama H100 kwa kuboresha ugawaji wa kazi na kutumia njia za FP8 zenye usahihi wa chini. Tarajia usanifu unaoendelea na maunzi, ujumuishaji thabiti zaidi katika mifumo ya mafunzo na maelekezo, na vibadala vilivyowekwa kwa ajili ya uangalifu mdogo, wa kuteleza na wa muktadha mrefu sana. Madirisha ya muktadha yanapoenea kuelekea mamilioni ya tokeni, kokwa zinazofahamu IO kama hii husalia kuwa muhimu ili kuweka kumbukumbu na kasi ya vitendo.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo mikubwa ya lugha kama vile mifumo ya Llama na GPT yenye madirisha marefu ya muktadha kwa gharama ya chini ya kumbukumbu.
Huwahudumia wasaidizi wa gumzo kwa haraka kwa kuharakisha hatua ya kujaza mapema ambapo kidokezo kirefu kinasomwa mara ya kwanza.
Kuwasha zana za kuchanganua hati ambazo humeza vitabu vizima au misingi ya msimbo kwa kufanya uzingatiaji wa mfuatano mrefu uwezekane kwenye GPU moja.
Inawezesha Vibadilishaji vya maono na sauti ambapo ingizo zenye msongo wa juu huunda mfuatano wa tokeni mrefu sana.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Flash Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Usambazaji wa Tahadhari na Kupogoa Kichwa
Maswali yanayoulizwa mara kwa mara
What is Flash Attention?
Flash Attention ni njia ya busara ya kukokotoa hatua ya umakini ndani ya Transfoma bila hata kuandika matrix kubwa ya umakini ili kupunguza kumbukumbu. Hufanya miundo ya muktadha mrefu haraka sana na ihifadhi kumbukumbu zaidi bila kubadilisha hesabu zao.
Je, ni kikwazo gani kikuu ambacho Flash Attention inalenga?
Flash Attention inafahamu IO: inapunguza data iliyowekwa kati ya SRAM ya haraka kwenye chipu na kumbukumbu ya polepole ya kipimo data cha juu, ambayo ndiyo kikwazo halisi badala ya hesabu yenyewe.
Je! Uangalifu wa Flash huepuka vipi kuhifadhi matrix kamili ya umakini ya N-na-N?
Huweka hesabu kwa vigae ili kila kizuizi kitoshee katika SRAM ya haraka, kukokotoa na kukusanya matokeo bila kugeuza matrix yote katika HBM.
Ni mbinu gani huruhusu Flash Attention kukokotoa softmax kwa usahihi bila kuona safu mlalo yote mara moja?
softmax ya mtandaoni huweka kiwango cha juu zaidi na kinachoendeshwa wakati wa kutiririsha vigae, na kuongeza idadi ya matokeo ya awali ili urekebishaji wa mwisho uwe sawa.
Kwa nini Flash Attention inasaidia zaidi kwa mifuatano mirefu?
Mizani ya uzingatiaji wa ujinga kama N-mraba katika kumbukumbu, kwa hivyo kuepuka hifadhi yake kamili hutoa akiba kubwa zaidi wakati mfuatano ni mrefu.
Je, muundo wa 'IO-aware' wa Flash Attention unatanguliza nini kupunguza?
IO-aware inamaanisha kuwa algoriti imeundwa kulingana na gharama ya kuhamisha data katika safu ya kumbukumbu, kupunguza trafiki ya HBM badala ya shughuli za hesabu.