Wielogłowy quiz dotyczący uwagi utajonej

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny problem, który ma zmniejszyć wielogłowicowa uwaga utajona?
   • Koszt pamięci pamięci podręcznej klucz-wartość podczas wnioskowania
   • Niedobór danych szkoleniowych
   • Liczba parametrów modelu
   • Rozmiar słownictwa tokenizera
2. W jaki sposób MLA zmniejsza pamięć podręczną KV?
   • Usuwa starsze tokeny z pamięci podręcznej
   • Przechowuje mały ukryty wektor niskiej rangi zamiast pełnych kluczy i wartości na głowę
   • Do wszystkiego używa wag 1-bitowych
   • Całkowicie pomija uwagę w przypadku niektórych żetonów
3. W którym modelu po raz pierwszy wprowadzono funkcję Multi-Head Latent Attention?
   • GPT-2
   • BERT
   • DeepSeek-V2
   • LLaMA 1
4. Dlaczego MLA potrzebuje oddzielnej „oddzielonej” ścieżki do osadzania w pozycji obrotowej?
   • Ponieważ pozycje nie mają znaczenia dla uwagi
   • Ponieważ RoPE podwaja słownictwo
   • Ponieważ przyspiesza optymalizator
   • Ponieważ obrotu nie można złożyć w pochłonięty występ, jak reszta klucza
5. W przybliżeniu, o ile redukcji pamięci podręcznej KV wykazał DeepSeek-V2 z MLA w porównaniu ze standardową uwagą wielogłowicową?
   • Ponad 90%
   • Około 5%
   • Dokładnie 50%
   • Żadnej redukcji, tylko przyrosty prędkości
6. Jaka praktyczna korzyść wynika bezpośrednio z mniejszej pamięci podręcznej MLA przypadającej na token?
   • Eliminacja potrzeby stosowania dowolnego procesora graficznego
   • Większe rozmiary partii wnioskowania i dłuższe konteksty na tym samym sprzęcie
   • Automatyczne tłumaczenie na wszystkie języki
   • Usunięcie operacji softmax
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections