Kvíz spojený s průvodcem · Střední úroveň

FlashAttention kvíz

Zkontrolujte, jak FlashAttention snižuje provoz paměti s velkou šířkou pásma při výpočtu přesné pozornosti a jaký hardware mění cíle FlashAttention-3.

Související vodicí cestyBlesková pozornost
Otázka 1 z 8

Co je hlavním úzkým místem, na které se FlashAttention zaměřuje ve standardní pozornosti?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je hlavním úzkým místem, na které se FlashAttention zaměřuje ve standardní pozornosti?
    • Čtení a zápis velké matice pozornosti do pomalé paměti GPU
    • Počet násobení s pohyblivou řádovou čárkou
    • Náklady na tokenizaci vstupního textu
    • Latence sítě mezi GPU
  2. Jak je výstup FlashAttention v porovnání se standardní pozorností?
    • Jedná se o aproximaci, která vyměňuje přesnost za rychlost
    • Je to matematicky identické (přesné)
    • Funguje pouze u krátkých sekvencí
    • Mění váhy modelu
  3. Kterou paměť GPU využívá FlashAttention ke zpracování dat v dlaždicích?
    • Velká, ale pomalá paměť s vysokou šířkou pásma (HBM)
    • RAM CPU
    • Malý, ale velmi rychlý SRAM na čipu
    • Diskové úložiště
  4. Jaká technika umožňuje FlashAttention vypočítat softmax bez zobrazení všech skóre najednou?
    • Úplně přeskakovat softmax
    • Zaokrouhlení všech skóre na nulu
    • Předpočítání softmax na CPU
    • Online (inkrementální) softmax s probíhající změnou měřítka
  5. Protože matice plné pozornosti není nikdy uložena v HBM, využití paměti se mění zhruba:
    • Lineárně s délkou sekvence
    • Kvadraticky s délkou sekvence
    • Exponenciálně s délkou sekvence
    • Nezávisle na délce sekvence
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware