Útmutatóhoz kapcsolódó kvíz · Közepes Szint
FlashAttention kvíz
Check how FlashAttention reduces high-bandwidth-memory traffic while computing exact attention, and what hardware changes FlashAttention-3 targets.
kérdés 1 -ból 8
Mi a FlashAttention fő szűk keresztmetszete a normál figyelemben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a FlashAttention fő szűk keresztmetszete a normál figyelemben?
- A nagy figyelemmátrix olvasása és írása a GPU memória lassítására
- A lebegőpontos szorzások száma
- A bemeneti szöveg tokenizálásának költsége
- Hálózati késleltetés a GPU-k között
- Hogyan viszonyul a FlashAttention teljesítménye a normál figyelemhez?
- Ez egy közelítés, amely a pontosságot sebességre cseréli
- Matematikailag azonos (pontos)
- Csak rövid sorozatoknál működik
- Megváltoztatja a modell súlyát
- Melyik GPU memóriát használja ki a FlashAttention a csempékben lévő adatok feldolgozásával?
- A nagy, de lassú, nagy sávszélességű memória (HBM)
- A CPU RAM-ja
- A kicsi, de nagyon gyors chipes SRAM
- Lemeztároló
- Milyen technika teszi lehetővé a FlashAttention-nek a softmax kiszámítását anélkül, hogy az összes pontszámot egyszerre látná?
- A softmax teljes kihagyása
- Az összes pontszám nullára kerekítése
- A softmax előszámítása a CPU-n
- Online (inkrementális) softmax futó újraskálázással
- Mivel a teljes figyelemmátrix soha nem kerül tárolásra a HBM-ben, a memóriahasználat durván skálázódik:
- Lineárisan a sorozat hosszával
- Kvadratikusan sorozathosszal
- Exponenciálisan a sorozat hosszával
- A sorozat hosszától függetlenül
- Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
- Only 64-bit floating point
- FP8, with techniques to manage its numerical error
- Integer text tokens
- No reduced-precision format
- What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
- It stores the complete attention matrix in HBM
- It replaces attention with convolution
- It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
- It uses only CPU execution
- In FlashAttention-3, what lets data movement overlap with computation?
- Replacing attention with a lookup table
- Computing all scores in host memory
- Disabling the softmax step
- Asynchronous execution on Hopper hardware