Útmutatóhoz kapcsolódó kvíz · Közepes Szint

FlashAttention kvíz

Check how FlashAttention reduces high-bandwidth-memory traffic while computing exact attention, and what hardware changes FlashAttention-3 targets.

Kapcsolódó útmutató utakVillogó figyelem
kérdés 1 -ból 8

Mi a FlashAttention fő szűk keresztmetszete a normál figyelemben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a FlashAttention fő szűk keresztmetszete a normál figyelemben?
    • A nagy figyelemmátrix olvasása és írása a GPU memória lassítására
    • A lebegőpontos szorzások száma
    • A bemeneti szöveg tokenizálásának költsége
    • Hálózati késleltetés a GPU-k között
  2. Hogyan viszonyul a FlashAttention teljesítménye a normál figyelemhez?
    • Ez egy közelítés, amely a pontosságot sebességre cseréli
    • Matematikailag azonos (pontos)
    • Csak rövid sorozatoknál működik
    • Megváltoztatja a modell súlyát
  3. Melyik GPU memóriát használja ki a FlashAttention a csempékben lévő adatok feldolgozásával?
    • A nagy, de lassú, nagy sávszélességű memória (HBM)
    • A CPU RAM-ja
    • A kicsi, de nagyon gyors chipes SRAM
    • Lemeztároló
  4. Milyen technika teszi lehetővé a FlashAttention-nek a softmax kiszámítását anélkül, hogy az összes pontszámot egyszerre látná?
    • A softmax teljes kihagyása
    • Az összes pontszám nullára kerekítése
    • A softmax előszámítása a CPU-n
    • Online (inkrementális) softmax futó újraskálázással
  5. Mivel a teljes figyelemmátrix soha nem kerül tárolásra a HBM-ben, a memóriahasználat durván skálázódik:
    • Lineárisan a sorozat hosszával
    • Kvadratikusan sorozathosszal
    • Exponenciálisan a sorozat hosszával
    • A sorozat hosszától függetlenül
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware