Тест за паралелизъм на последователност и внимание при звънене

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. По кое измерение паралелизмът на последователността разделя данните?
   • Скрито/функционално измерение
   • Измерението на токена (последователността).
   • Само размерът на партидата
   • Броят на слоевете
2. Какво предава Ring Attention между GPU, подредени в пръстен?
   • Тегла на пълния модел
   • Състояния на оптимизатора
   • Окончателни логисти
   • Блокове ключ/стойност
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Защо Ring Attention не изисква нито един GPU за съхраняване на пълния K/V?
   • Изхвърля повечето ключове
   • Използва по-малък модел
   • K/V се предава на блокове и се натрупват само частични резултати
   • Вниманието е приблизително, а не точно
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Какво усложнение въвежда причинно-следственото маскиране за балансиране на натоварването на Ring Attention?
   • Това прави модела недиференцируем
   • По-късните токени се грижат за повече ключове, причинявайки неравномерна работа на GPU
   • Премахва нуждата от пръстен
   • Удвоява броя на параметрите
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • За намаляване на речниковия запас
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future