Kvíz spojený s průvodcem · Střední úroveň
Kvíz KV Cache
Prohlédněte si opětovné použití KV-cache během autoregresivního dekódování, zatížení paměti, sdílení více požadavků a kompromisy při alokaci stránkování.
Otázka 1 z 8
Co ukládá mezipaměť KV?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ukládá mezipaměť KV?
- Klíčové a hodnotové vektory vypočtené pro předchozí tokeny
- Matice plné hmotnosti modelu
- Historie chatu uživatele jako prostý text
- Konečné výstupní pravděpodobnosti
- Jaký problém primárně řeší KV cache?
- Zlepšuje gramatiku generovaného textu
- Vyhýbá se přepočítávání klíčů a hodnot pro všechny předchozí tokeny na každém kroku
- Rozšiřuje modelovu slovní zásobu
- Šifruje konverzaci
- Jaká je hlavní nevýhoda KV cache?
- Zpomaluje generování
- Snižuje kvalitu výstupu
- Jeho využití paměti roste lineárně s délkou kontextu
- Funguje pouze na CPU
- Která technika snižuje velikost mezipaměti KV sdílením klíčů a hodnot mezi hlavami pozornosti?
- Výpadek
- Hledání paprskem
- Tokenizace
- Pozornost seskupeného dotazu nebo více dotazů
- Jaké jsou dvě fáze odvození transformátoru vzhledem k mezipaměti KV?
- Předvyplnit (zpracovat výzvu) a dekódovat (vygenerovat jeden token najednou)
- Školení a testování
- Kódovat a komprimovat
- Nahrát a stáhnout
- Co dělá PagedAttention vLLM pro mezipaměť KV?
- Smaže mezipaměť po každém tokenu
- Přiděluje mezipaměť do nesouvislých bloků, aby se snížila fragmentace paměti
- Převede mezipaměť na text
- Zdvojnásobí počet parametrů modelu
- Why can KV-cache memory limit how many requests a GPU serves concurrently?
- The cache stores all training examples on the GPU
- Each request creates a new model copy
- Each active sequence retains key and value tensors that grow with its generated context
- The cache stores only final text on disk
- What is one benefit of sharing KV-cache blocks among requests with a common prefix?
- It makes unrelated prefixes identical
- It removes the need to compute attention
- It guarantees lower latency in every workload
- It can avoid storing duplicate prefix state and reduce memory use