Gids-gekoppelde quiz · Middelmatig Niveau
KV Cachequiz
Beoordeel KV-cache hergebruik tijdens autoregressieve decoding, geheugendruk, delen over meerdere verzoeken en de afwegingen bij paged allocatie.
Vraag 1 van 8
Wat slaat de KV-cache op?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat slaat de KV-cache op?
- De sleutel- en waardevectoren die voor eerdere tokens zijn berekend
- De volledige gewichtsmatrices van het model
- De chatgeschiedenis van de gebruiker als platte tekst
- De uiteindelijke outputkansen
- Welk probleem lost de KV-cache voornamelijk op?
- Het verbetert de grammatica van de gegenereerde tekst
- Het vermijdt bij elke stap het opnieuw berekenen van sleutels en waarden voor alle voorgaande tokens
- Het vergroot de woordenschat van het model
- Het versleutelt het gesprek
- Wat is het belangrijkste nadeel van de KV-cache?
- Het maakt de generatie langzamer
- Het vermindert de uitvoerkwaliteit
- Het geheugengebruik groeit lineair met de contextlengte
- Het werkt alleen op CPU's
- Welke techniek verkleint de KV-cachegrootte door sleutels en waarden tussen aandachtshoofden te delen?
- Uitval
- Straal zoeken
- Tokenisatie
- Aandacht voor gegroepeerde zoekopdrachten of meerdere zoekopdrachten
- Wat zijn de twee fasen van transformator-inferentie ten opzichte van de KV-cache?
- Vooraf invullen (de prompt verwerken) en decoderen (één token tegelijk genereren)
- Trainen en testen
- Coderen en comprimeren
- Uploaden en downloaden
- Wat doet PagedAttention van vLLM voor de KV-cache?
- Verwijdert de cache na elk token
- Wijst de cache toe in niet-aaneengesloten blokken om geheugenfragmentatie te verminderen
- Converteert de cache naar tekst
- Verdubbelt het aantal parameters van het model
- Why can KV-cache memory limit how many requests a GPU serves concurrently?
- The cache stores all training examples on the GPU
- Each request creates a new model copy
- Each active sequence retains key and value tensors that grow with its generated context
- The cache stores only final text on disk
- What is one benefit of sharing KV-cache blocks among requests with a common prefix?
- It makes unrelated prefixes identical
- It removes the need to compute attention
- It guarantees lower latency in every workload
- It can avoid storing duplicate prefix state and reduce memory use