AI Ordliste Term

Hva er KV Cache?

Definisjon

Lagrede nøkkel- og verditensorer fra tidligere tokens som lar transformatorer generere nye tokens uten å omberegne tidligere oppmerksomhet.

Relaterte vilkår

Kontinuerlig læring
Opplæringsmetoder som lar en modell fortsette å lære av nye data uten å glemme forkunnskaper.
Top-k Sampling
En dekodingsstrategi som prøver bare fra de k mest sannsynlig neste tokene.
Uovervåket læring
Lære mønstre fra umerkede data uten eksplisitte målutganger.
Skyvevindu oppmerksomhet
Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.
Setningsstykke
En språkagnostisk tokenizer som lærer underordenheter direkte fra rå tekst uten å forhåndssplitte på mellomrom.
Tilstedeværelsesstraff
En dekodingsinnstilling som reduserer sannsynligheten for at tokens i det hele tatt har dukket opp, og oppmuntrer til nye emner.

Lær mer i våre gratis guider

KV CacheKV Cache Optimization

Se også

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider