Kvíz spojený s průvodcem · Těžko úroveň

Flash pozornost kvíz

Testuje dlaždice FlashAttention IO-aware, online softmax, přesnou pozornost, škálování sekvence a rozdíl mezi provozem paměti a výpočtem.

Související vodicí cestyBlesková pozornost
Otázka 1 z 8

Na jaké hlavní překážky se Flash Attention zaměřuje?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Na jaké hlavní překážky se Flash Attention zaměřuje?
    • Čtení a zápis velké matice pozornosti do pomalé paměti GPU
    • Počet násobení s pohyblivou řádovou čárkou v pozoru
    • Náklady na načtení závaží modelu z disku
    • Latence sítě mezi více GPU
  2. Jak se Flash Attention vyhýbá ukládání celé matice pozornosti N-by-N?
    • Přibližuje pozornost náhodnými projekcemi
    • Zpracovává dotazy, klíče a hodnoty v malých dlaždicích a kombinuje dílčí výsledky
    • Úplně přeskočí většinu párů tokenů
    • Komprimuje matici pomocí kvantizace
  3. Jaká technika umožňuje programu Flash Attention správně vypočítat softmax, aniž by viděl celý řádek najednou?
    • Předpočítaná vyhledávací tabulka exponenciál
    • Vypuštění softmaxu a použití lineární aproximace
    • Běžící (online) softmax, který sleduje průběžné maximum a součet
    • Třídění skóre před normalizací
  4. Ve srovnání se standardní pozorností je výstup Flash Attention:
    • Hrubá aproximace, která vyměňuje přesnost za rychlost
    • Přesnější díky vyšší přesnosti
    • Platí pouze pro krátké sekvence
    • Matematicky identické, jen počítané efektivněji
  5. Proč Flash Attention nejvíce pomáhá s dlouhými sekvencemi?
    • Protože paměť pozornosti roste kvadraticky s délkou sekvence
    • Protože delší sekvence potřebují méně vrstev
    • Protože softmax se pro dlouhé vstupy stává zbytečným
    • Protože GPU běží pomaleji v krátkých sekvencích
  6. Co upřednostňuje minimalizace 'IO-aware' design Flash Attention?
    • Počet parametrů modelu
    • Paměť čte a zapisuje mezi SRAM a HBM
    • Hloubka neuronové sítě
    • Velikost slovní zásoby tokenizeru
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation