Quiz d'attention flash

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est le principal goulot d’étranglement ciblé par Flash Attention ?
   • Lire et écrire la grande matrice d'attention pour ralentir la mémoire GPU
   • Le nombre de multiplications à virgule flottante en attention
   • Le coût de chargement des poids de modèle à partir du disque
   • Latence réseau entre plusieurs GPU
2. Comment Flash Attention évite-t-il de stocker la matrice d’attention N-by-N complète ?
   • Il rapproche l'attention avec des projections aléatoires
   • Il traite les requêtes, les clés et les valeurs dans de petites tuiles et combine les résultats partiels
   • Il ignore complètement la plupart des paires de jetons
   • Il compresse la matrice avec quantification
3. Quelle technique permet à Flash Attention de calculer correctement softmax sans voir toute la ligne à la fois ?
   • Une table de recherche précalculée d'exponentielles
   • Supprimer le softmax et utiliser une approximation linéaire
   • Un softmax en cours d'exécution (en ligne) qui suit un maximum et une somme en cours
   • Trier les scores avant de les normaliser
4. Par rapport à l’attention standard, le résultat de Flash Attention est :
   • Une approximation grossière qui troque la précision contre la vitesse
   • Plus précis grâce à une plus grande précision
   • Valable uniquement pour les séquences courtes
   • Mathématiquement identique, juste calculé plus efficacement
5. Pourquoi Flash Attention est-il plus utile avec les longues séquences ?
   • Parce que la mémoire d'attention croît quadratiquement avec la longueur de la séquence
   • Parce que les séquences plus longues nécessitent moins de couches
   • Parce que softmax devient inutile pour les entrées longues
   • Parce que les GPU fonctionnent plus lentement sur des séquences courtes
6. Qu'est-ce que la conception « IO-aware » de Flash Attention donne la priorité à la minimisation ?
   • Le nombre de paramètres du modèle
   • Lecture et écriture de la mémoire entre SRAM et HBM
   • La profondeur du réseau neuronal
   • La taille du vocabulaire du tokenizer
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation