LegközelebbKövetkező útmutató
Figyelem Rollout és fejmetszés
Műszaki
Műszaki ÚTMUTATÓ
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Standard attention compares every token to every other token, producing an N-by-N score matrix that grows quadratically with sequence length. Naively, that matrix is written to and read back from GPU high-bandwidth memory (HBM), and that shuttling — not the multiplications — is the real bottleneck. Flash Attention, introduced by Tri Dao and colleagues in 2022, reorganizes the computation so the matrix is never fully stored. It processes queries, keys, and values in small tiles that fit in fast on-chip SRAM, computes partial results, and stitches them together using an online running-softmax trick. The algorithm computes the same attention operation while reducing high-bandwidth-memory traffic and intermediate storage. It can be faster, especially on long sequences, but measured gains depend on GPU, sequence length, dtype and implementation.
Nagy nyelvi modellek, például Llama és GPT-osztályú rendszerek betanítása hosszabb környezetablakkal, alacsonyabb memóriaköltséggel.
A csevegési asszisztensek gyorsabb kiszolgálása az előtöltési szakasz felgyorsításával, amikor először egy hosszú prompt kerül beolvasásra.
Olyan dokumentumelemző eszközök engedélyezése, amelyek teljes könyveket vagy kódbázisokat töltenek be azáltal, hogy egyetlen GPU-n megvalósíthatóvá teszik a hosszú szekvenciák figyelését.
Látás és audio transzformátorok, ahol a nagy felbontású bemenetek nagyon hosszú token sorozatokat hoznak létre.
FlashAttention-2 and FlashAttention-3 research explores improved work partitioning, asynchronous execution, and hardware-specific low-precision paths. Results depend on the GPU, sequence length, dtype and implementation. These algorithms can reduce memory traffic for dense attention, but they do not remove the underlying query-key pair computations. Benchmark the exact training or serving workload before assuming a speedup.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory. It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
A Flash Attention IO-tudatos: csökkenti a gyors chipen lévő SRAM és a lassú, nagy sávszélességű memória közötti adatátvitelt, ami az igazi szűk keresztmetszet, nem pedig maga az aritmetika.
A számítást úgy csempézi, hogy minden blokk elférjen a gyors SRAM-ban, így kiszámítja és felhalmozza a részleges kimeneteket anélkül, hogy a teljes mátrixot a HBM-ben megvalósítaná.
Az online softmax megtartja a futó maximumot és a futó nevezőt a csempék streamelése közben, átméretezi a korábbi részleges kimeneteket, hogy a végső normalizálás pontos legyen.
A naiv figyelemmátrix N-négyzetre skálázódik a memóriában, így a teljes tárolás elkerülése pontosan akkor eredményezi a legnagyobb megtakarítást, ha a sorozatok hosszúak.
Az IO-tudatos azt jelenti, hogy az algoritmust az adatok memóriahierarchiában való mozgatásának költségére tervezték, minimalizálva a HBM forgalmat, nem pedig az aritmetikai műveleteket.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Figyelem Rollout és fejmetszés
Műszaki