Викторина на внимание с несколькими запросами

Ответы и пояснения появляются по мере прохождения теста.

1. Что объединяет многозапросное внимание между всеми головами внимания?
   • Единый набор ключей и значений
   • Прогнозы запросов
   • Софтмакс температура
   • Вес выходного слоя
2. Каково основное узкое место, которое устраняет MQA во время авторегрессионной генерации?
   • Пропускная способность вычислений с плавающей запятой
   • Пропускная способность памяти от загрузки кэша KV
   • Количество эпох обучения
   • Размер словаря токенизатора
3. На сколько примерно MQA уменьшает кэш KV?
   • По длине последовательности
   • По размеру партии
   • По количеству внимания голов
   • Это не меняет размер кэша KV.
4. Каков основной компромисс при использовании MQA?
   • Гораздо более медленный вывод
   • Он больше не может использовать несколько головок вообще.
   • Требуется гораздо больше обучающих данных.
   • Небольшое снижение качества модели.
5. Какой вариант находится между стандартным многоголовым вниманием и MQA?
   • Внимание группового запроса
   • Внимание, раздвижное окно
   • Вспышка внимания
   • Редкое внимание
6. Кто предложил многозапросное внимание?
   • Джеффри Хинтон
   • Ноам Шазир
   • Янн ЛеКун
   • Андрей Карпаты
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once