Тест за внимание с групирани заявки

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. В Grouped-Query Attention какво се споделя между група от заглавия на заявки?
   • Ключовите и стойностните глави
   • Само изходната проекция
   • Входните вграждания
   • Скоростта на учене
2. GQA се описва най-добре като средно положение между кои две крайности?
   • Конволюция и внимание
   • Пълно внимание на няколко глави и внимание на множество запитвания
   • FP32 и FP8 точност
   • Модели само с енкодер и само с декодер
3. Каква част от заключенията GQA основно прави по-евтина?
   • Токенизиране на подканата
   • Изчисляване на загубата при обучение
   • KV кеш паметта и нейната честотна лента по време на генериране
   • Последният софтмакс над речника
4. Ако един модел има 32 глави на заявки и 8 KV групи, KV кешът се намалява с приблизително какъв фактор?
   • Около 32 пъти
   • Около 2 пъти
   • Без намаление
   • Около 4 пъти
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Как съществуващите многоглави модели често се преобразуват в GQA?
   • Чрез изтриване на всички слоеве на вниманието
   • Чрез кратка стъпка на „обучение“ от съществуващия контролен пункт
   • Като преминете към друг токенизатор
   • Те изобщо не могат да бъдат преобразувани
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • около 50%
   • About 100%
   • No additional training compute
   • около 5%