Paralelism de secvențe și chestionar pentru atenția inelului

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Pe ce dimensiune paralelismul secvenței împarte datele?
   • Dimensiunea ascunsă/funcție
   • Dimensiunea simbolului (secvenței).
   • Numai dimensiunea lotului
   • Numărul de straturi
2. Ce trece Ring Attention între GPU-urile dispuse într-un inel?
   • Greutăți complete ale modelului
   • Stările de optimizare
   • Logituri finale
   • Blocuri cheie/valoare
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. De ce Ring Attention nu necesită un singur GPU pentru a stoca întregul K/V?
   • Renunță la majoritatea cheilor
   • Folosește un model mai mic
   • K/V este transmis în blocuri și sunt acumulate doar rezultate parțiale
   • Atenția este aproximativă, nu exactă
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Ce complicație introduce mascarea cauzală pentru echilibrarea sarcinii Ring Attention?
   • Face modelul nediferențiabil
   • Tokenurile ulterioare se ocupă de mai multe chei, provocând o funcționare neuniformă pe GPU
   • Îndepărtează necesitatea unui inel
   • Acesta dublează numărul de parametri
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Pentru a reduce dimensiunea vocabularului
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future