Kvíz spojený s průvodcem · Střední úroveň

Kvíz KV Cache

Prohlédněte si opětovné použití KV-cache během autoregresivního dekódování, zatížení paměti, sdílení více požadavků a kompromisy při alokaci stránkování.

Související vodicí cestyKv cache
Otázka 1 z 8

Co ukládá mezipaměť KV?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ukládá mezipaměť KV?
    • Klíčové a hodnotové vektory vypočtené pro předchozí tokeny
    • Matice plné hmotnosti modelu
    • Historie chatu uživatele jako prostý text
    • Konečné výstupní pravděpodobnosti
  2. Jaký problém primárně řeší KV cache?
    • Zlepšuje gramatiku generovaného textu
    • Vyhýbá se přepočítávání klíčů a hodnot pro všechny předchozí tokeny na každém kroku
    • Rozšiřuje modelovu slovní zásobu
    • Šifruje konverzaci
  3. Jaká je hlavní nevýhoda KV cache?
    • Zpomaluje generování
    • Snižuje kvalitu výstupu
    • Jeho využití paměti roste lineárně s délkou kontextu
    • Funguje pouze na CPU
  4. Která technika snižuje velikost mezipaměti KV sdílením klíčů a hodnot mezi hlavami pozornosti?
    • Výpadek
    • Hledání paprskem
    • Tokenizace
    • Pozornost seskupeného dotazu nebo více dotazů
  5. Jaké jsou dvě fáze odvození transformátoru vzhledem k mezipaměti KV?
    • Předvyplnit (zpracovat výzvu) a dekódovat (vygenerovat jeden token najednou)
    • Školení a testování
    • Kódovat a komprimovat
    • Nahrát a stáhnout
  6. Co dělá PagedAttention vLLM pro mezipaměť KV?
    • Smaže mezipaměť po každém tokenu
    • Přiděluje mezipaměť do nesouvislých bloků, aby se snížila fragmentace paměti
    • Převede mezipaměť na text
    • Zdvojnásobí počet parametrů modelu
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use