Тест на внимание к разреженным блокам и нативному разрежению

Ответы и пояснения появляются по мере прохождения теста.

1. Почему стандартное внимание к себе дорого обходится для длинных последовательностей?
   • Его стоимость растет квадратично с длиной последовательности.
   • Он использует слишком мало параметров
   • Он не может работать на графических процессорах
   • Он занимается только первым токеном
2. В чем основная идея разреженного внимания?
   • Удаление слоев прямой связи
   • Вычисление внимания только между выбранными блоками токенов
   • Использование только одной головы внимания
   • Удвоение размера встраивания
3. Что отличает нативное разреженное внимание (NSA) от многих более ранних методов разреженного внимания?
   • Это полностью отвлекает внимание
   • Это работает только во время вывода
   • Он поддается сквозному обучению и согласован с аппаратным обеспечением.
   • Он не требует графического процессора
4. Какие три ветви объединяет АНБ для своих ключей и значений?
   • Кодер, декодер и встраивание
   • Отсев, нормализация и объединение
   • Квантование, обрезка и дистилляция
   • Сжатие, выделение и скользящее окно
5. Почему АНБ использует операции на уровне блоков, а не произвольную разреженность на уровне токенов?
   • Чтобы согласовать доступ к памяти графического процессора и пропускную способность тензорного ядра для реального ускорения.
   • Чтобы увеличить модель
   • Чтобы вообще не использовать внимание
   • Чтобы уменьшить количество слоев
6. Во время авторегрессионного декодирования редкое внимание особенно полезно, потому что этот шаг часто:
   • Ограниченность вычислений при умножении матрицы
   • Ограничено памятью, поэтому уменьшение количества посещаемых токенов ускоряет процесс.
   • Независимость от длины последовательности
   • Запускать только на процессорах
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations