Quiz lié à un guide · Difficile Niveau

Quiz sur le parallélisme des séquences et l'attention en anneau

Pratiquez les transferts de blocs Ring Attention, le softmax en ligne et l'équilibrage de charge causal, y compris les limites de chevauchement des communications entre les appareils.

Chemins de guidage associésParallélisme de séquence et attention en anneau
Question 1 de 8

Dans quelle dimension le parallélisme de séquence divise-t-il les données ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Dans quelle dimension le parallélisme de séquence divise-t-il les données ?
    • La dimension cachée/fonctionnalité
    • La dimension jeton (séquence)
    • La dimension du lot uniquement
    • Le nombre de couches
  2. Que transmet Ring Attention entre les GPU disposés en anneau ?
    • Poids du modèle complet
    • États de l'optimiseur
    • Logits finaux
    • Blocs clé/valeur
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Pourquoi Ring Attention ne nécessite-t-il pas un seul GPU pour stocker l'intégralité du K/V ?
    • Il supprime la plupart des clés
    • Il utilise un modèle plus petit
    • K/V est diffusé en blocs et seuls les résultats partiels sont accumulés
    • L'attention est approximative, pas exacte
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Quelle complication le masquage causal introduit-il pour l’équilibrage de charge Ring Attention ?
    • Cela rend le modèle non différenciable
    • Les jetons ultérieurs s'occupent de plus de clés, provoquant un travail inégal par GPU
    • Cela supprime le besoin d’une bague
    • Cela double le nombre de paramètres
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Pour réduire la taille du vocabulaire
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future