Test legat de ghid · Mediu Nivel

FlashAttention Quiz

Check how FlashAttention reduces high-bandwidth-memory traffic while computing exact attention, and what hardware changes FlashAttention-3 targets.

Căi de ghidare aferenteAtenție rapidă
Întrebare 1 de 8

Care sunt principalele obiective de blocaj FlashAttention în atenția standard?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care sunt principalele obiective de blocaj FlashAttention în atenția standard?
    • Citirea și scrierea matricei mari de atenție pentru a încetini memoria GPU
    • Numărul de înmulțiri în virgulă mobilă
    • Costul tokenizării textului introdus
    • Latența rețelei între GPU-uri
  2. Cum se compară rezultatul FlashAttention cu atenția standard?
    • Este o aproximare care schimbă precizia cu viteza
    • Este matematic identic (exact)
    • Funcționează doar pentru secvențe scurte
    • Schimbă greutățile modelului
  3. Ce memorie GPU exploatează FlashAttention prin procesarea datelor în plăci?
    • Memoria mare, dar lentă, cu lățime de bandă mare (HBM)
    • RAM-ul procesorului
    • SRAM mic, dar foarte rapid pe cip
    • Stocare pe disc
  4. Ce tehnică permite FlashAttention să calculeze softmax fără a vedea toate scorurile simultan?
    • Sari peste softmax complet
    • Rotunjirea tuturor scorurilor la zero
    • Precalcularea softmax pe CPU
    • Softmax online (incremental) cu redimensionare în execuție
  5. Deoarece matricea completă de atenție nu este niciodată stocată în HBM, utilizarea memoriei se scalează aproximativ:
    • Liniar cu lungimea secvenței
    • Patratic cu lungimea secvenței
    • Exponențial cu lungimea secvenței
    • Independent de lungimea secvenței
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware