Quiz skupiający uwagę na wielu zapytaniach

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co funkcja Multi-Query Attention jest wspólna dla wszystkich głów uwagi?
   • Pojedynczy zestaw kluczy i wartości
   • Projekcje zapytań
   • Temperatura softmax
   • Wagi warstwy wyjściowej
2. Jakie jest główne wąskie gardło, które rozwiązuje MQA podczas generowania autoregresyjnego?
   • Przepustowość obliczeniowa zmiennoprzecinkowa
   • Przepustowość pamięci od ładowania pamięci podręcznej KV
   • Liczba epok szkoleniowych
   • Rozmiar słownictwa tokenizera
3. O jaki mniej więcej współczynnik MQA zmniejsza pamięć podręczną KV?
   • Według długości sekwencji
   • Według wielkości partii
   • Według liczby głów uwagi
   • Nie zmienia to rozmiaru pamięci podręcznej KV
4. Jaki jest główny kompromis związany ze stosowaniem MQA?
   • Znacznie wolniejsze wnioskowanie
   • Nie może już w ogóle używać wielu głowic
   • Wymaga znacznie większej ilości danych treningowych
   • Niewielki spadek jakości modelu
5. Który wariant plasuje się pomiędzy standardową uwagą wielogłową a MQA?
   • Uwaga dotycząca zapytania grupowego
   • Uwaga na przesuwane okno
   • Błyskawiczna uwaga
   • Rzadka uwaga
6. Kto zaproponował uwagę wielozadaniową?
   • Geoffreya Hintona
   • Noama Shazeera
   • Yanna LeCuna
   • Andrzej Karpaty
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once