KI-Glossarbegriff

Was ist KV-Cache?

Definition

Gespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.

Verwandte Begriffe

Kontinuierliches Lernen
Trainingsansätze, die es einem Modell ermöglichen, kontinuierlich aus neuen Daten zu lernen, ohne Vorkenntnisse zu vergessen.
Top-K-Probenahme
Eine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.
Unüberwachtes Lernen
Lernmuster aus unbeschrifteten Daten ohne explizite Zielausgaben.
Schiebefenster Achtung
Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.
Satzstück
Ein sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.
Anwesenheitsstrafe
Eine Dekodierungseinstellung, die die Wahrscheinlichkeit verringert, dass Token überhaupt aufgetaucht sind, und so neue Themen anregt.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

KV CacheKV Cache Optimization

See also

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen