Quiz skupiający uwagę na zapytaniu grupowym

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co w przypadku zapytań grupowych jest wspólne dla grupy kierowników zapytań?
   • Głowy kluczy i wartości
   • Tylko projekcja wyjściowa
   • Osadzenia wejściowe
   • Szybkość uczenia się
2. GQA najlepiej opisać jako środek pomiędzy jakimi dwiema skrajnościami?
   • Splot i uwaga
   • Pełna uwaga wielogłowa i uwaga wielozadaniowa
   • Precyzja FP32 i FP8
   • Modele tylko z koderem i tylko z dekoderem
3. Jaką część wnioskowania GQA przede wszystkim obniża?
   • Tokenizacja podpowiedzi
   • Obliczanie strat szkoleniowych
   • Pamięć podręczna KV i jej przepustowość podczas generowania
   • Ostatni softmax nad słownictwem
4. Jeśli model ma 32 głowice zapytań i 8 grup KV, pamięć podręczna KV zmniejsza się mniej więcej o jaki współczynnik?
   • Około 32x
   • Około 2x
   • Brak redukcji
   • Około 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. W jaki sposób istniejące modele wielogłowicowe są często konwertowane do formatu GQA?
   • Usuwając wszystkie warstwy uwagi
   • Krótkim krokiem „dokształcającym” z istniejącego punktu kontrolnego
   • Przechodząc na inny tokenizer
   • Nie da się ich w ogóle przerobić
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Około 50%
   • About 100%
   • No additional training compute
   • Około 5%