Quiz dotyczący optymalizacji pamięci podręcznej KV

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co przechowuje pamięć podręczna KV i dlaczego?
   • Wcześniej obliczone klucze i wartości uwagi, więc nie są one obliczane ponownie w każdym kroku
   • Dane treningowe modelu do ponownego uczenia
   • Hasła użytkowników do uwierzytelnienia
   • Tylko ostateczny wynik tekstowy
2. Dlaczego pamięć podręczna KV może stać się problemem pamięci?
   • Trwale uszkadza procesor graficzny
   • Rośnie wraz z długością sekwencji, wielkością partii i warstwami, czasami przekraczając wagę modelu
   • Działa tylko w przypadku tekstu krótszego niż 10 słów
   • Duplikuje system operacyjny
3. Z jakiej koncepcji systemu operacyjnego korzysta PagedAttention?
   • Narzędzia do defragmentacji dysku
   • Skanowanie antywirusowe
   • Stronicowanie pamięci wirtualnej z blokami o stałym rozmiarze
   • Skalowanie rozdzielczości ekranu
4. W jaki sposób zapytania grupowe i uwaga na wiele zapytań zmniejszają rozmiar pamięci podręcznej KV?
   • Usuwając mechanizm uwagi
   • Przechowując pamięć podręczną jako obrazy
   • Trenując na mniejszej ilości danych
   • Pozwalając wielu głowicom zapytań na współdzielenie mniejszej liczby kluczy/wartości
5. Jaka jest jedna korzyść z udostępniania prefiksów w pamięci podręcznej KV?
   • Żądania z tym samym monitem początkowym mogą ponownie wykorzystywać te same bloki buforowane
   • Szyfruje model
   • Równie spowalnia każde żądanie
   • Eliminuje potrzebę uwagi
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible