Викторина на внимание с групповым запросом

Ответы и пояснения появляются по мере прохождения теста.

1. Что является общим для группы заголовков запроса при групповом запросе?
   • Ключевые и ценностные руководители
   • Только выходная проекция
   • Входные вложения
   • Скорость обучения
2. GQA лучше всего можно описать как золотую середину между какими двумя крайностями?
   • Свертка и внимание
   • Полное внимание с несколькими головами и внимание с несколькими запросами
   • Точность FP32 и FP8
   • Модели только с кодером и только с декодером
3. Какую часть вывода GQA в первую очередь удешевляет?
   • Токенизация приглашения
   • Расчет потерь при обучении
   • Кэш-память KV и ее пропускная способность при генерации
   • Финальный софтмакс по словарному запасу
4. Если модель имеет 32 головки запроса и 8 групп KV, примерно во сколько раз уменьшается кэш KV?
   • Около 32x
   • Около 2х
   • Без снижения
   • Около 4х
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Как существующие модели с несколькими головками часто конвертируются в GQA?
   • Удалив все слои внимания
   • Коротким шагом «подготовки» от существующего КПП
   • Переключившись на другой токенайзер
   • Их вообще нельзя конвертировать
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Около 50%
   • About 100%
   • No additional training compute
   • Около 5%