Kvíz spojený s průvodcem · Těžko úroveň
Flash pozornost kvíz
Testuje dlaždice FlashAttention IO-aware, online softmax, přesnou pozornost, škálování sekvence a rozdíl mezi provozem paměti a výpočtem.
Otázka 1 z 8
Na jaké hlavní překážky se Flash Attention zaměřuje?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Na jaké hlavní překážky se Flash Attention zaměřuje?
- Čtení a zápis velké matice pozornosti do pomalé paměti GPU
- Počet násobení s pohyblivou řádovou čárkou v pozoru
- Náklady na načtení závaží modelu z disku
- Latence sítě mezi více GPU
- Jak se Flash Attention vyhýbá ukládání celé matice pozornosti N-by-N?
- Přibližuje pozornost náhodnými projekcemi
- Zpracovává dotazy, klíče a hodnoty v malých dlaždicích a kombinuje dílčí výsledky
- Úplně přeskočí většinu párů tokenů
- Komprimuje matici pomocí kvantizace
- Jaká technika umožňuje programu Flash Attention správně vypočítat softmax, aniž by viděl celý řádek najednou?
- Předpočítaná vyhledávací tabulka exponenciál
- Vypuštění softmaxu a použití lineární aproximace
- Běžící (online) softmax, který sleduje průběžné maximum a součet
- Třídění skóre před normalizací
- Ve srovnání se standardní pozorností je výstup Flash Attention:
- Hrubá aproximace, která vyměňuje přesnost za rychlost
- Přesnější díky vyšší přesnosti
- Platí pouze pro krátké sekvence
- Matematicky identické, jen počítané efektivněji
- Proč Flash Attention nejvíce pomáhá s dlouhými sekvencemi?
- Protože paměť pozornosti roste kvadraticky s délkou sekvence
- Protože delší sekvence potřebují méně vrstev
- Protože softmax se pro dlouhé vstupy stává zbytečným
- Protože GPU běží pomaleji v krátkých sekvencích
- Co upřednostňuje minimalizace 'IO-aware' design Flash Attention?
- Počet parametrů modelu
- Paměť čte a zapisuje mezi SRAM a HBM
- Hloubka neuronové sítě
- Velikost slovní zásoby tokenizeru
- What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
- The number of model layers must double
- Every token is compared with only one other token
- The number of query-key pair interactions grows with the square of sequence length
- The number of model parameters becomes zero
- Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
- It intentionally drops all long-distance tokens
- It changes the model weights during inference
- It replaces softmax with a random sample
- Floating-point operations can occur in a different order during tiled accumulation