Il prossimoProssima guida
Attenzione al rollout e alla potatura della testa
Tecnico
GUIDA TECNICA
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory.
Ascolta questa guidaNarrato dall'IA · ~2 min
It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Standard attention compares every token to every other token, producing an N-by-N score matrix that grows quadratically with sequence length. Naively, that matrix is written to and read back from GPU high-bandwidth memory (HBM), and that shuttling — not the multiplications — is the real bottleneck. Flash Attention, introduced by Tri Dao and colleagues in 2022, reorganizes the computation so the matrix is never fully stored. It processes queries, keys, and values in small tiles that fit in fast on-chip SRAM, computes partial results, and stitches them together using an online running-softmax trick. The algorithm computes the same attention operation while reducing high-bandwidth-memory traffic and intermediate storage. It can be faster, especially on long sequences, but measured gains depend on GPU, sequence length, dtype and implementation.
Addestramento di modelli linguistici di grandi dimensioni come Llama e sistemi di classe GPT con finestre di contesto più lunghe a un costo di memoria inferiore.
Servire gli assistenti di chat più velocemente accelerando la fase di precompilazione in cui viene letto per la prima volta un lungo messaggio.
Abilitazione di strumenti di analisi dei documenti che ingeriscono interi libri o basi di codice rendendo possibile l'attenzione su sequenze lunghe su una singola GPU.
Alimentano trasformatori visivi e audio in cui input ad alta risoluzione creano sequenze di token molto lunghe.
FlashAttention-2 and FlashAttention-3 research explores improved work partitioning, asynchronous execution, and hardware-specific low-precision paths. Results depend on the GPU, sequence length, dtype and implementation. These algorithms can reduce memory traffic for dense attention, but they do not remove the underlying query-key pair computations. Benchmark the exact training or serving workload before assuming a speedup.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
FlashAttention is an IO-aware way to compute exact attention without materializing the full attention matrix in high-bandwidth memory. It uses tiling and online softmax to reduce memory traffic; speed and memory gains depend on sequence length, hardware and implementation.
Flash Attention è sensibile all'IO: riduce i dati trasferiti tra la veloce SRAM su chip e la memoria lenta a larghezza di banda elevata, che è il vero collo di bottiglia piuttosto che l'aritmetica stessa.
Suddivide il calcolo in modo che ciascun blocco si adatti alla veloce SRAM, calcolando e accumulando output parziali senza mai materializzare l'intera matrice in HBM.
Il softmax online mantiene un massimo corrente e un denominatore corrente durante lo streaming delle tessere, ridimensionando gli output parziali precedenti in modo che la normalizzazione finale sia esatta.
La matrice dell'attenzione ingenua si ridimensiona come N al quadrato nella memoria, quindi evitare la sua memorizzazione completa produce il risparmio maggiore esattamente quando le sequenze sono lunghe.
Consapevole dell'IO significa che l'algoritmo è progettato in base al costo dello spostamento dei dati nella gerarchia di memoria, riducendo al minimo il traffico HBM anziché le operazioni aritmetiche.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attenzione al rollout e alla potatura della testa
Tecnico