Quiz lié à un guide · Moyen Niveau

Quiz FlashAttention

Vérifiez comment FlashAttention réduit le trafic mémoire à large bande passante tout en calculant l'attention exacte, et quel matériel modifie les cibles FlashAttention-3.

Chemins de guidage associésAttention flash
Question 1 de 8

Quel est le principal goulot d’étranglement ciblé par FlashAttention dans l’attention standard ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est le principal goulot d’étranglement ciblé par FlashAttention dans l’attention standard ?
    • Lire et écrire la grande matrice d'attention pour ralentir la mémoire GPU
    • Le nombre de multiplications à virgule flottante
    • Le coût de la tokenisation du texte saisi
    • Latence réseau entre GPU
  2. Comment le résultat de FlashAttention se compare-t-il à l'attention standard ?
    • Il s’agit d’une approximation qui troque la précision contre la vitesse
    • C'est mathématiquement identique (exact)
    • Cela ne fonctionne que pour des séquences courtes
    • Cela change les poids du modèle
  3. Quelle mémoire GPU FlashAttention exploite-t-il en traitant les données en tuiles ?
    • La mémoire à large bande passante (HBM), grande mais lente
    • La RAM du CPU
    • La SRAM sur puce, petite mais très rapide
    • Stockage sur disque
  4. Quelle technique permet à FlashAttention de calculer softmax sans voir tous les scores en même temps ?
    • Sauter complètement le softmax
    • Arrondir tous les scores à zéro
    • Précalcul du softmax sur le CPU
    • Softmax en ligne (incrémental) avec redimensionnement en cours
  5. Étant donné que la matrice d’attention complète n’est jamais stockée dans HBM, l’utilisation de la mémoire évolue approximativement :
    • Linéairement avec longueur de séquence
    • Quadratiquement avec longueur de séquence
    • Exponentiellement avec longueur de séquence
    • Indépendamment de la longueur de la séquence
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware