Mit dem Guide verknüpftes Quiz · Mittel Ebene

KV-Cache-Quiz

Überprüfen Sie die Wiederverwendung des KV-Cache während der autoregressiven Dekodierung, der Speicherauslastung, der gemeinsamen Nutzung mehrerer Anfragen und der Kompromisse bei der Seitenzuteilung.

Verwandte FührungspfadeKv-Cache
Frage 1 von 8

Was speichert der KV-Cache?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was speichert der KV-Cache?
    • Die für vorherige Token berechneten Schlüssel- und Wertvektoren
    • Die Vollgewichtungsmatrizen des Modells
    • Der Chatverlauf des Benutzers als Klartext
    • Die endgültigen Ausgabewahrscheinlichkeiten
  2. Welches Problem löst der KV-Cache hauptsächlich?
    • Es verbessert die Grammatik des generierten Textes
    • Dadurch wird vermieden, dass Schlüssel und Werte für alle vorherigen Token bei jedem Schritt neu berechnet werden
    • Es erweitert den Wortschatz des Modells
    • Es verschlüsselt das Gespräch
  3. Was ist der Hauptnachteil des KV-Cache?
    • Es verlangsamt die Generierung
    • Es verringert die Ausgabequalität
    • Seine Speichernutzung wächst linear mit der Kontextlänge
    • Es funktioniert nur auf CPUs
  4. Welche Technik reduziert die KV-Cache-Größe durch die gemeinsame Nutzung von Schlüsseln und Werten zwischen den Aufmerksamkeitsköpfen?
    • Aussteiger
    • Strahlsuche
    • Tokenisierung
    • Gruppierte Abfrage oder Mehrfachabfrage-Aufmerksamkeit
  5. Was sind die beiden Phasen der Transformatorinferenz relativ zum KV-Cache?
    • Vorab ausfüllen (die Eingabeaufforderung verarbeiten) und dekodieren (jeweils ein Token generieren)
    • Schulung und Prüfung
    • Kodieren und komprimieren
    • Hochladen und herunterladen
  6. Was bewirkt PagedAttention von vLLM für den KV-Cache?
    • Löscht den Cache nach jedem Token
    • Ordnet den Cache in nicht zusammenhängenden Blöcken zu, um die Speicherfragmentierung zu reduzieren
    • Konvertiert den Cache in Text
    • Verdoppelt die Parameteranzahl des Modells
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use