Gids-gekoppelde quiz · Middelmatig Niveau

KV Cachequiz

Beoordeel KV-cache hergebruik tijdens autoregressieve decoding, geheugendruk, delen over meerdere verzoeken en de afwegingen bij paged allocatie.

Gerelateerde gidspadenKv-cache
Vraag 1 van 8

Wat slaat de KV-cache op?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat slaat de KV-cache op?
    • De sleutel- en waardevectoren die voor eerdere tokens zijn berekend
    • De volledige gewichtsmatrices van het model
    • De chatgeschiedenis van de gebruiker als platte tekst
    • De uiteindelijke outputkansen
  2. Welk probleem lost de KV-cache voornamelijk op?
    • Het verbetert de grammatica van de gegenereerde tekst
    • Het vermijdt bij elke stap het opnieuw berekenen van sleutels en waarden voor alle voorgaande tokens
    • Het vergroot de woordenschat van het model
    • Het versleutelt het gesprek
  3. Wat is het belangrijkste nadeel van de KV-cache?
    • Het maakt de generatie langzamer
    • Het vermindert de uitvoerkwaliteit
    • Het geheugengebruik groeit lineair met de contextlengte
    • Het werkt alleen op CPU's
  4. Welke techniek verkleint de KV-cachegrootte door sleutels en waarden tussen aandachtshoofden te delen?
    • Uitval
    • Straal zoeken
    • Tokenisatie
    • Aandacht voor gegroepeerde zoekopdrachten of meerdere zoekopdrachten
  5. Wat zijn de twee fasen van transformator-inferentie ten opzichte van de KV-cache?
    • Vooraf invullen (de prompt verwerken) en decoderen (één token tegelijk genereren)
    • Trainen en testen
    • Coderen en comprimeren
    • Uploaden en downloaden
  6. Wat doet PagedAttention van vLLM voor de KV-cache?
    • Verwijdert de cache na elk token
    • Wijst de cache toe in niet-aaneengesloten blokken om geheugenfragmentatie te verminderen
    • Converteert de cache naar tekst
    • Verdubbelt het aantal parameters van het model
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use