Gids-gekoppelde quiz · Moeilijk Niveau

Sequentieparallellisme en ringaandachtsquiz

Oefen Ring Aandachtsblokoverdrachten, online softmax en causale taakverdeling, inclusief de grenzen van communicatie overlappen tussen apparaten.

Vraag 1 van 8

Langs welke dimensie splitst sequentieparallellisme de gegevens?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Langs welke dimensie splitst sequentieparallellisme de gegevens?
    • De dimensie verborgen/functie
    • De tokendimensie (reeks).
    • Alleen de batchdimensie
    • Het aantal lagen
  2. Wat geeft Ring Attention door tussen GPU's die in een ring zijn gerangschikt?
    • Volledige modelgewichten
    • Optimizer-statussen
    • Laatste logits
    • Sleutel-/waardeblokken
  3. Hoe kan Ring Attention gedeeltelijke attentieblokken combineren zonder het volledige attentiepatroon te benaderen?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Waarom heeft Ring Attention geen enkele GPU nodig om de volledige K/V op te slaan?
    • Het gooit de meeste sleutels weg
    • Er wordt gebruik gemaakt van een kleiner model
    • K/V wordt in blokken gestreamd en slechts gedeeltelijke resultaten worden verzameld
    • Aandacht is bij benadering, niet exact
  5. Wanneer kan Ring Attention de zichtbare tijd die wordt besteed aan het overbrengen van K/V‑blokken verminderen?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Welke complicatie introduceert causale maskering voor Ring Attention-loadbalancing?
    • Het maakt het model niet-differentieerbaar
    • Latere tokens zorgen voor meer sleutels, waardoor ongelijkmatig werk per GPU ontstaat
    • Het elimineert de noodzaak van een ring
    • Het verdubbelt het aantal parameters
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Om de woordenschat te verkleinen
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future