Kvíz spojený s průvodcem · Střední úroveň
FlashAttention kvíz
Zkontrolujte, jak FlashAttention snižuje provoz paměti s velkou šířkou pásma při výpočtu přesné pozornosti a jaký hardware mění cíle FlashAttention-3.
Otázka 1 z 8
Co je hlavním úzkým místem, na které se FlashAttention zaměřuje ve standardní pozornosti?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je hlavním úzkým místem, na které se FlashAttention zaměřuje ve standardní pozornosti?
- Čtení a zápis velké matice pozornosti do pomalé paměti GPU
- Počet násobení s pohyblivou řádovou čárkou
- Náklady na tokenizaci vstupního textu
- Latence sítě mezi GPU
- Jak je výstup FlashAttention v porovnání se standardní pozorností?
- Jedná se o aproximaci, která vyměňuje přesnost za rychlost
- Je to matematicky identické (přesné)
- Funguje pouze u krátkých sekvencí
- Mění váhy modelu
- Kterou paměť GPU využívá FlashAttention ke zpracování dat v dlaždicích?
- Velká, ale pomalá paměť s vysokou šířkou pásma (HBM)
- RAM CPU
- Malý, ale velmi rychlý SRAM na čipu
- Diskové úložiště
- Jaká technika umožňuje FlashAttention vypočítat softmax bez zobrazení všech skóre najednou?
- Úplně přeskakovat softmax
- Zaokrouhlení všech skóre na nulu
- Předpočítání softmax na CPU
- Online (inkrementální) softmax s probíhající změnou měřítka
- Protože matice plné pozornosti není nikdy uložena v HBM, využití paměti se mění zhruba:
- Lineárně s délkou sekvence
- Kvadraticky s délkou sekvence
- Exponenciálně s délkou sekvence
- Nezávisle na délce sekvence
- Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
- Only 64-bit floating point
- FP8, with techniques to manage its numerical error
- Integer text tokens
- No reduced-precision format
- What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
- It stores the complete attention matrix in HBM
- It replaces attention with convolution
- It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
- It uses only CPU execution
- In FlashAttention-3, what lets data movement overlap with computation?
- Replacing attention with a lookup table
- Computing all scores in host memory
- Disabling the softmax step
- Asynchronous execution on Hopper hardware