Kvíz spojený s průvodcem · Střední úroveň

Kvíz optimalizace KV mezipaměti

Kontroluje růst mezipaměti KV, alokaci stránkování, sdílení seskupených dotazů, podmínky opětovného použití předpon, kvantizaci a škálování paměti s kontextem a souběžností.

Související vodicí cestyOptimalizace Kv Cache
Otázka 1 z 8

Co ukládá KV cache a proč?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ukládá KV cache a proč?
    • Dříve vypočítané klíče a hodnoty pozornosti, takže se při každém kroku nepřepočítávají
    • Tréninková data modelu pro rekvalifikaci
    • Uživatelská hesla pro ověření
    • Pouze konečný textový výstup
  2. Proč se může KV cache stát problémem s pamětí?
    • Trvale poškozuje GPU
    • Roste s délkou sekvence, velikostí dávky a vrstvami, někdy přesahující hmotnosti modelu
    • Funguje pouze u textu kratšího než 10 slov
    • Duplikuje operační systém
  3. Jaký koncept operačního systému si PagedAttention vypůjčuje?
    • Nástroje pro defragmentaci disku
    • Antivirové skenování
    • Stránkování virtuální paměti s bloky pevné velikosti
    • Měřítko rozlišení obrazovky
  4. Jak Grouped-Query a Multi-Query Attention snižují velikost mezipaměti KV?
    • Vymazáním mechanismu pozornosti
    • Uložením mezipaměti jako obrázků
    • Tréninkem na méně dat
    • Tím, že umožníte mnoha hlavám dotazů sdílet méně hlav klíč/hodnota
  5. Jaká je jedna výhoda sdílení předpon v mezipaměti KV?
    • Požadavky se stejnou úvodní výzvou mohou znovu použít stejné bloky uložené v mezipaměti
    • Zašifruje model
    • Zpomaluje každý požadavek stejně
    • Odstraňuje potřebu pozornosti
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible