Quiz collegato alla guida · Difficile Livello

Quiz sul parallelismo delle sequenze e sull'attenzione dell'anello

Pratica sui trasferimenti di blocchi di Ring Attention, softmax online e bilanciamento del carico causale, inclusi i limiti di sovrapposizione delle comunicazioni tra i dispositivi.

Domanda 1 di 8

Lungo quale dimensione il parallelismo delle sequenze suddivide i dati?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Lungo quale dimensione il parallelismo delle sequenze suddivide i dati?
    • La dimensione nascosta/funzionalità
    • La dimensione del token (sequenza).
    • Solo la dimensione batch
    • Il numero di strati
  2. Cosa passa l'attenzione dell'anello tra le GPU disposte in un anello?
    • Pesi del modello completo
    • Stati dell'ottimizzatore
    • Log finali
    • Blocchi chiave/valore
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Perché Ring Attention non richiede che una singola GPU memorizzi l'intero K/V?
    • Scarta la maggior parte delle chiavi
    • Utilizza un modello più piccolo
    • K/V viene trasmesso in blocchi e vengono accumulati solo risultati parziali
    • L'attenzione è approssimativa, non esatta
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Quale complicazione introduce il mascheramento causale per il bilanciamento del carico di Ring Attention?
    • Rende il modello non differenziabile
    • I token successivi si occupano di più chiavi, causando un lavoro non uniforme per GPU
    • Elimina la necessità di un anello
    • Raddoppia il conteggio dei parametri
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Per ridurre la dimensione del vocabolario
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future