Flash Atenție Test

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este principalul blocaj pe care îl vizează Flash Attention?
   • Citirea și scrierea matricei mari de atenție pentru a încetini memoria GPU
   • Numărul de înmulțiri în virgulă mobilă în atenție
   • Costul încărcării greutăților modelului de pe disc
   • Latența rețelei între mai multe GPU-uri
2. Cum evită Flash Attention stocarea întregii matrice de atenție N-by-N?
   • Aproximează atenția cu proiecții aleatorii
   • Procesează interogări, chei și valori în plăci mici și combină rezultate parțiale
   • Omite în totalitate majoritatea perechilor de jetoane
   • Comprimă matricea cu cuantizare
3. Ce tehnică permite Flash Attention să calculeze softmax corect fără a vedea întregul rând simultan?
   • Un tabel de căutare precalculat de exponențiali
   • Renunțând la softmax și utilizând o aproximare liniară
   • Un softmax de rulare (online) care urmărește un max și o sumă în curs de funcționare
   • Sortarea scorurilor înainte de normalizare
4. În comparație cu atenția standard, rezultatul atenției flash este:
   • O aproximare aproximativă care schimbă precizia cu viteza
   • Mai precis datorită preciziei mai mari
   • Valabil doar pentru secvențe scurte
   • Matematic identic, doar calculat mai eficient
5. De ce atenția flash ajută cel mai mult cu secvențele lungi?
   • Deoarece memoria atenției crește pătratic cu lungimea secvenței
   • Pentru că secvențele mai lungi au nevoie de mai puține straturi
   • Pentru că softmax devine inutil pentru intrări lungi
   • Pentru că GPU-urile rulează mai încet pe secvențe scurte
6. Ce prioritizează minimalizarea designului „IO-aware” al Flash Attention?
   • Numărul de parametri ai modelului
   • Memoria citește și scrie între SRAM și HBM
   • Adâncimea rețelei neuronale
   • Mărimea vocabularului tokenizatorului
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation