Quiz collegato alla guida · Difficile Livello
Quiz sul parallelismo delle sequenze e sull'attenzione dell'anello
Pratica sui trasferimenti di blocchi di Ring Attention, softmax online e bilanciamento del carico causale, inclusi i limiti di sovrapposizione delle comunicazioni tra i dispositivi.
Domanda 1 di 8
Lungo quale dimensione il parallelismo delle sequenze suddivide i dati?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Lungo quale dimensione il parallelismo delle sequenze suddivide i dati?
- La dimensione nascosta/funzionalità
- La dimensione del token (sequenza).
- Solo la dimensione batch
- Il numero di strati
- Cosa passa l'attenzione dell'anello tra le GPU disposte in un anello?
- Pesi del modello completo
- Stati dell'ottimizzatore
- Log finali
- Blocchi chiave/valore
- How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- Perché Ring Attention non richiede che una singola GPU memorizzi l'intero K/V?
- Scarta la maggior parte delle chiavi
- Utilizza un modello più piccolo
- K/V viene trasmesso in blocchi e vengono accumulati solo risultati parziali
- L'attenzione è approssimativa, non esatta
- When can Ring Attention reduce the exposed time spent transferring K/V blocks?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- Quale complicazione introduce il mascheramento causale per il bilanciamento del carico di Ring Attention?
- Rende il modello non differenziabile
- I token successivi si occupano di più chiavi, causando un lavoro non uniforme per GPU
- Elimina la necessità di un anello
- Raddoppia il conteggio dei parametri
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- Per ridurre la dimensione del vocabolario
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future