Параллелизм последовательностей и кольцевая викторина на внимание

Ответы и пояснения появляются по мере прохождения теста.

1. По какому измерению параллелизм последовательностей разделяет данные?
   • Скрытое/функциональное измерение
   • Измерение токена (последовательности)
   • Только измерение партии
   • Количество слоев
2. Что передается в Ring Attention между графическими процессорами, расположенными в кольце?
   • Полный вес модели
   • Оптимизатор утверждает
   • Окончательные логиты
   • Блоки «ключ/значение»
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Почему Ring Attention не требует какого-либо одного графического процессора для хранения полного K/V?
   • Он отбрасывает большинство ключей
   • Он использует меньшую модель
   • K/V передается блоками, и накапливаются только частичные результаты.
   • Внимание приблизительное, а не точное
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Какие сложности создает причинно-следственная маскировка для балансировки нагрузки Ring Attention?
   • Это делает модель недифференцируемой.
   • Более поздние токены обрабатывают больше ключей, что приводит к неравномерной работе каждого графического процессора.
   • Это устраняет необходимость в кольце.
   • Это удваивает количество параметров
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Чтобы уменьшить размер словарного запаса
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future