What is KV Cache? Definition | AI Understanding

Definitie

Opgeslagen sleutel- en waardetensoren van eerdere tokens waarmee transformatoren nieuwe tokens kunnen genereren zonder de aandacht uit het verleden opnieuw te berekenen.

Gerelateerde termen

Trainingsbenaderingen waarmee een model kan blijven leren van nieuwe gegevens zonder voorafgaande kennis te vergeten.

Een decoderingsstrategie die alleen monsters neemt van de k meest waarschijnlijke volgende tokens.

Ongecontroleerd leren

Patronen leren uit ongelabelde gegevens zonder expliciete doelresultaten.

Schuifraam Let op

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Een taalonafhankelijke tokenizer die subwoordeenheden rechtstreeks uit onbewerkte tekst leert, zonder vooraf te splitsen op witruimte.

Aanwezigheidsstraf

Een decoderingsinstelling die de kans verkleint dat tokens überhaupt zijn verschenen, waardoor nieuwe onderwerpen worden aangemoedigd.

Lees meer in onze gratis handleidingen

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen