KI-Glossarbegriff

Was ist KV-Cache?

Definition

Gespeicherte Schlüssel- und Werttensoren früherer Token, die es Transformatoren ermöglichen, neue Token zu generieren, ohne die bisherige Aufmerksamkeit neu zu berechnen.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Kontinuierliches LernenTrainingsansätze, die es einem Modell ermöglichen, kontinuierlich aus neuen Daten zu lernen, ohne Vorkenntnisse zu vergessen.Top-K-ProbenahmeEine Dekodierungsstrategie, die nur die k wahrscheinlichsten nächsten Token abtastet.Unüberwachtes LernenLernmuster aus unbeschrifteten Daten ohne explizite Zielausgaben.Schiebefenster AchtungEin Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.SatzstückEin sprachunabhängiger Tokenizer, der Unterworteinheiten direkt aus Rohtext lernt, ohne vorher in Leerzeichen aufzuteilen.AnwesenheitsstrafeEine Dekodierungseinstellung, die die Wahrscheinlichkeit verringert, dass Token überhaupt aufgetaucht sind, und so neue Themen anregt.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Siehe auch

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts