VolgendeVolgende gids
Aandacht uitrollen en snoeien van de kop
Technisch
Technische GIDS
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory.
Luister naar deze gidsAI-verteld · ~2 min
It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Standard attention compares every token to every other token, producing an N-by-N score matrix that grows quadratically with sequence length. Naively, that matrix is written to and read back from GPU high-bandwidth memory (HBM), and that shuttling — not the multiplications — is the real bottleneck. Flash Attention, introduced by Tri Dao and colleagues in 2022, reorganizes the computation so the matrix is never fully stored. It processes queries, keys, and values in small tiles that fit in fast on-chip SRAM, computes partial results, and stitches them together using an online running-softmax trick. The algorithm computes the same attention operation while reducing high-bandwidth-memory traffic and intermediate storage. It can be faster, especially on long sequences, but measured gains depend on GPU, sequence length, dtype and implementation.
Trainen van grote taalmodellen zoals Llama- en GPT-klasse systemen met langere contextvensters tegen lagere geheugenkosten.
Chatassistenten sneller bedienen door de fase van vooraf invullen te versnellen, waarbij eerst een lange prompt wordt gelezen.
Hulpmiddelen voor documentanalyse mogelijk maken die volledige boeken of codebases verwerken door aandacht in lange reeksen mogelijk te maken op één enkele GPU.
Visie en audio aandrijven Transformers waarbij invoer met hoge resolutie zeer lange tokenreeksen creëert.
FlashAttention-2 and FlashAttention-3 research explores improved work partitioning, asynchronous execution, and hardware-specific low-precision paths. Results depend on the GPU, sequence length, dtype and implementation. These algorithms can reduce memory traffic for dense attention, but they do not remove the underlying query-key pair computations. Benchmark the exact training or serving workload before assuming a speedup.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory. It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Flash Attention is zich bewust van IO: het vermindert de hoeveelheid gegevens die wordt getransporteerd tussen snel SRAM op de chip en langzaam geheugen met hoge bandbreedte, wat eerder het echte knelpunt is dan de rekenkunde zelf.
Het verdeelt de berekening zodat elk blok in snel SRAM past, waarbij gedeeltelijke outputs worden berekend en verzameld zonder ooit de hele matrix in HBM te materialiseren.
De online softmax houdt een lopend maximum en een lopende noemer bij tijdens het streamen van tegels, waarbij eerdere gedeeltelijke uitvoer opnieuw wordt geschaald, zodat de uiteindelijke normalisatie exact is.
De naïeve aandachtsmatrix schaalt als N-kwadraat in het geheugen, dus het vermijden van de volledige opslag ervan levert de grootste besparingen op, precies wanneer reeksen lang zijn.
IO-bewust betekent dat het algoritme is ontworpen rond de kosten van het verplaatsen van gegevens in de geheugenhiërarchie, waardoor het HBM-verkeer wordt geminimaliseerd in plaats van rekenkundige bewerkingen.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Aandacht uitrollen en snoeien van de kop
Technisch