Kvíz spojený s průvodcem · Střední úroveň
Kvíz optimalizace KV mezipaměti
Kontroluje růst mezipaměti KV, alokaci stránkování, sdílení seskupených dotazů, podmínky opětovného použití předpon, kvantizaci a škálování paměti s kontextem a souběžností.
Otázka 1 z 8
Co ukládá KV cache a proč?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ukládá KV cache a proč?
- Dříve vypočítané klíče a hodnoty pozornosti, takže se při každém kroku nepřepočítávají
- Tréninková data modelu pro rekvalifikaci
- Uživatelská hesla pro ověření
- Pouze konečný textový výstup
- Proč se může KV cache stát problémem s pamětí?
- Trvale poškozuje GPU
- Roste s délkou sekvence, velikostí dávky a vrstvami, někdy přesahující hmotnosti modelu
- Funguje pouze u textu kratšího než 10 slov
- Duplikuje operační systém
- Jaký koncept operačního systému si PagedAttention vypůjčuje?
- Nástroje pro defragmentaci disku
- Antivirové skenování
- Stránkování virtuální paměti s bloky pevné velikosti
- Měřítko rozlišení obrazovky
- Jak Grouped-Query a Multi-Query Attention snižují velikost mezipaměti KV?
- Vymazáním mechanismu pozornosti
- Uložením mezipaměti jako obrázků
- Tréninkem na méně dat
- Tím, že umožníte mnoha hlavám dotazů sdílet méně hlav klíč/hodnota
- Jaká je jedna výhoda sdílení předpon v mezipaměti KV?
- Požadavky se stejnou úvodní výzvou mohou znovu použít stejné bloky uložené v mezipaměti
- Zašifruje model
- Zpomaluje každý požadavek stejně
- Odstraňuje potřebu pozornosti
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible