Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor KV-cache-optimalisatie
Controleert KV-cache-groei, pagetoewijzing, grouped query sharing, hergebruikvoorwaarden van voorvoegsels, kwantisering en geheugenschaling bij context en gelijktijdigheid.
Vraag 1 van 8
Wat slaat de KV-cache op en waarom?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat slaat de KV-cache op en waarom?
- Eerder berekende aandachtssleutels en -waarden, zodat ze niet bij elke stap opnieuw worden berekend
- De trainingsgegevens van het model voor herscholing
- Gebruikerswachtwoorden voor authenticatie
- Alleen de uiteindelijke tekstuitvoer
- Waarom kan de KV-cache een geheugenprobleem worden?
- Het corrumpeert de GPU permanent
- Het groeit met de reekslengte, batchgrootte en lagen, en overschrijdt soms de modelgewichten
- Het werkt alleen bij tekst korter dan 10 woorden
- Het dupliceert het besturingssysteem
- Welk besturingssysteemconcept leent PagedAttention?
- Hulpprogramma's voor schijfdefragmentatie
- Antivirusscannen
- Virtueel geheugen paging met blokken van vaste grootte
- Schalen van de schermresolutie
- Hoe verminderen Grouped-Query en Multi-Query Attention de grootte van de KV-cache?
- Door het aandachtsmechanisme te verwijderen
- Door de cache op te slaan als afbeeldingen
- Door te trainen met minder data
- Door veel querykoppen minder sleutel-/waardekoppen te laten delen
- Wat is een voordeel van het delen van voorvoegsels in de KV-cache?
- Verzoeken met dezelfde startprompt kunnen dezelfde in de cache opgeslagen blokken hergebruiken
- Het codeert het model
- Het vertraagt elk verzoek evenveel
- Het neemt de behoefte aan aandacht weg
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible