Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący pamięci podręcznej KV

Przejrzyj ponowne wykorzystanie pamięci podręcznej KV podczas dekodowania autoregresyjnego, wykorzystania pamięci, udostępniania wielu żądań i kompromisów w zakresie alokacji stronicowanej.

Powiązane ścieżki prowadzącePamięć podręczna Kv
Pytanie 1 z 8

Co przechowuje pamięć podręczna KV?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co przechowuje pamięć podręczna KV?
    • Wektory klucza i wartości obliczone dla poprzednich tokenów
    • Pełne matryce wagowe modelu
    • Historia czatów użytkownika jako zwykły tekst
    • Ostateczne prawdopodobieństwa wyjściowe
  2. Jaki problem rozwiązuje przede wszystkim pamięć podręczna KV?
    • Poprawia gramatykę generowanego tekstu
    • Pozwala to uniknąć ponownego obliczania kluczy i wartości dla wszystkich poprzednich tokenów na każdym kroku
    • Zwiększa słownictwo modela
    • Szyfruje rozmowę
  3. Jaka jest główna wada pamięci podręcznej KV?
    • To spowalnia generowanie
    • Obniża jakość wydruku
    • Zużycie pamięci rośnie liniowo wraz z długością kontekstu
    • Działa tylko na procesorach
  4. Która technika zmniejsza rozmiar pamięci podręcznej KV poprzez udostępnianie kluczy i wartości między głowami uwagi?
    • Rezygnacja
    • Wyszukiwanie wiązki
    • Tokenizacja
    • Uwaga dotycząca zapytań grupowych lub wielu zapytań
  5. Jakie są dwie fazy wnioskowania o transformatorze w odniesieniu do pamięci podręcznej KV?
    • Wstępne wypełnienie (przetworzenie monitu) i dekodowanie (generowanie jednego tokena na raz)
    • Szkolenia i testy
    • Koduj i kompresuj
    • Prześlij i pobierz
  6. Co robi PagedAttention vLLM dla pamięci podręcznej KV?
    • Usuwa pamięć podręczną po każdym tokenie
    • Przydziela pamięć podręczną w nieciągłych blokach, aby zmniejszyć fragmentację pamięci
    • Konwertuje pamięć podręczną na tekst
    • Podwaja liczbę parametrów modelu
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use