DalšíDalší průvodce
Pozor Rollout a Head Prořezávání
Technický
Technický PRŮVODCE
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Standard attention compares every token to every other token, producing an N-by-N score matrix that grows quadratically with sequence length. Naively, that matrix is written to and read back from GPU high-bandwidth memory (HBM), and that shuttling — not the multiplications — is the real bottleneck. Flash Attention, introduced by Tri Dao and colleagues in 2022, reorganizes the computation so the matrix is never fully stored. It processes queries, keys, and values in small tiles that fit in fast on-chip SRAM, computes partial results, and stitches them together using an online running-softmax trick. The algorithm computes the same attention operation while reducing high-bandwidth-memory traffic and intermediate storage. It can be faster, especially on long sequences, but measured gains depend on GPU, sequence length, dtype and implementation.
Trénování velkých jazykových modelů, jako jsou systémy třídy Llama a GPT, s delšími kontextovými okny při nižších nákladech na paměť.
Obsluhování chatových asistentů rychleji díky zrychlení fáze předvyplnění, kdy je poprvé přečtena dlouhá výzva.
Povolení nástrojů pro analýzu dokumentů, které zpracovávají celé knihy nebo kódové základny, díky tomu, že umožňují sledování dlouhé sekvence na jediném GPU.
Napájení obrazových a zvukových transformátorů, kde vstupy s vysokým rozlišením vytvářejí velmi dlouhé sekvence tokenů.
FlashAttention-2 and FlashAttention-3 research explores improved work partitioning, asynchronous execution, and hardware-specific low-precision paths. Results depend on the GPU, sequence length, dtype and implementation. These algorithms can reduce memory traffic for dense attention, but they do not remove the underlying query-key pair computations. Benchmark the exact training or serving workload before assuming a speedup.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory. It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Flash Attention je IO-aware: snižuje množství dat přenášených mezi rychlou SRAM na čipu a pomalou vysokopásmovou pamětí, což je skutečným úzkým hrdlem spíše než samotnou aritmetikou.
Uspořádá výpočet tak, aby se každý blok vešel do rychlé paměti SRAM, přičemž počítá a shromažďuje dílčí výstupy, aniž by se kdy zhmotnila celá matice v HBM.
Online softmax udržuje běžící maximum a běžící jmenovatel při streamování dlaždic a mění měřítko dřívějších dílčích výstupů tak, aby byla konečná normalizace přesná.
Naivní matice pozornosti se v paměti škáluje jako N-kvadrát, takže vyhnutí se jejímu úplnému uložení přináší největší úspory právě v případě dlouhých sekvencí.
IO-aware znamená, že algoritmus je navržen s ohledem na náklady na přesun dat v hierarchii paměti, což minimalizuje provoz HBM spíše než aritmetické operace.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pozor Rollout a Head Prořezávání
Technický