Тест на паралелізм послідовності та кільце

Відповіді та пояснення з’являються під час виконання тесту.

1. За яким виміром паралельність послідовності розбиває дані?
   • Прихований/функціональний вимір
   • Розмір маркера (послідовності).
   • Лише розмір партії
   • Кількість шарів
2. Що передає Ring Attention між графічними процесорами, розташованими в кільце?
   • Повна вага моделі
   • Стани оптимізатора
   • Остаточні логіти
   • Блоки ключ/значення
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Чому Ring Attention не потребує жодного окремого GPU для зберігання повного K/V?
   • Він відкидає більшість ключів
   • Використовується менша модель
   • K/V передається блоками, і накопичуються лише часткові результати
   • Увага приблизне, не точне
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Які ускладнення створює причинне маскування для балансування навантаження Ring Attention?
   • Це робить модель недиференційованою
   • Пізніші маркери використовують більше ключів, що спричиняє нерівномірну роботу кожного GPU
   • Зникає необхідність у кільці
   • Це подвоює кількість параметрів
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Зменшити словниковий запас
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future