Gids-gekoppelde quiz · Moeilijk Niveau
Sequentieparallellisme en ringaandachtsquiz
Oefen Ring Aandachtsblokoverdrachten, online softmax en causale taakverdeling, inclusief de grenzen van communicatie overlappen tussen apparaten.
Vraag 1 van 8
Langs welke dimensie splitst sequentieparallellisme de gegevens?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Langs welke dimensie splitst sequentieparallellisme de gegevens?
- De dimensie verborgen/functie
- De tokendimensie (reeks).
- Alleen de batchdimensie
- Het aantal lagen
- Wat geeft Ring Attention door tussen GPU's die in een ring zijn gerangschikt?
- Volledige modelgewichten
- Optimizer-statussen
- Laatste logits
- Sleutel-/waardeblokken
- Hoe kan Ring Attention gedeeltelijke attentieblokken combineren zonder het volledige attentiepatroon te benaderen?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- Waarom heeft Ring Attention geen enkele GPU nodig om de volledige K/V op te slaan?
- Het gooit de meeste sleutels weg
- Er wordt gebruik gemaakt van een kleiner model
- K/V wordt in blokken gestreamd en slechts gedeeltelijke resultaten worden verzameld
- Aandacht is bij benadering, niet exact
- Wanneer kan Ring Attention de zichtbare tijd die wordt besteed aan het overbrengen van K/V‑blokken verminderen?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- Welke complicatie introduceert causale maskering voor Ring Attention-loadbalancing?
- Het maakt het model niet-differentieerbaar
- Latere tokens zorgen voor meer sleutels, waardoor ongelijkmatig werk per GPU ontstaat
- Het elimineert de noodzaak van een ring
- Het verdubbelt het aantal parameters
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- Om de woordenschat te verkleinen
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future