Test legat de ghid · Mediu Nivel

KV Cache Quiz

Review KV-cache reuse during autoregressive decoding, memory pressure, multi-request sharing and paged allocation tradeoffs.

Căi de ghidare aferenteKv Cache
Întrebare 1 de 8

Ce stochează memoria cache KV?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce stochează memoria cache KV?
    • Vectorii cheie și valoare calculați pentru jetoanele anterioare
    • Matricele cu greutate completă ale modelului
    • Istoricul chat-ului utilizatorului ca text simplu
    • Probabilitățile finale de ieșire
  2. Ce problemă rezolvă în primul rând memoria cache KV?
    • Îmbunătățește gramatica textului generat
    • Evită recalcularea cheilor și valorilor pentru toate indicatoarele anterioare la fiecare pas
    • Mărește vocabularul modelului
    • Acesta criptează conversația
  3. Care este principalul dezavantaj al memoriei cache KV?
    • Face generația mai lentă
    • Reduce calitatea ieșirii
    • Utilizarea memoriei sale crește liniar cu lungimea contextului
    • Funcționează doar pe procesoare
  4. Ce tehnică reduce dimensiunea memoriei cache KV prin partajarea cheilor și valorilor între capetele de atenție?
    • Abandonul
    • Căutare fascicul
    • Tokenizare
    • Atenție la interogare grupată sau la mai multe interogări
  5. Care sunt cele două faze ale inferenței transformatorului în raport cu memoria cache KV?
    • Precompletare (procesează solicitarea) și decodează (generează câte un token la un moment dat)
    • Antrenament și testare
    • Codificați și comprimați
    • Încărcați și descărcați
  6. Ce face PagedAttention de la vLLM pentru memoria cache KV?
    • Șterge memoria cache după fiecare token
    • Alocă memoria cache în blocuri necontigue pentru a reduce fragmentarea memoriei
    • Transformă memoria cache în text
    • Dublează numărul de parametri ai modelului
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use