AI Ordlista Term

Vad är KV-cache?

Definition

Lagrade nyckel- och värdetensorer från tidigare tokens som låter transformatorer generera nya tokens utan att räkna om tidigare uppmärksamhet.

Relaterade termer

Kontinuerligt lärande
Utbildningsmetoder som låter en modell fortsätta att lära sig av ny data utan att glömma förkunskaper.
Top-k Sampling
En avkodningsstrategi som endast samplar från de k mest sannolika nästa tokens.
Oövervakat lärande
Att lära sig mönster från omärkta data utan explicita målutdata.
Skjutfönster Uppmärksamhet
Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.
Meningsstycke
En språkagnostisk tokenizer som lär sig underordsenheter direkt från råtext utan fördelning på blanksteg.
Närvarostraff
En avkodningsinställning som minskar sannolikheten för tokens som överhuvudtaget har dykt upp, vilket uppmuntrar till nya ämnen.

Läs mer i våra kostnadsfria guider

KV CacheKV Cache Optimization

See also

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider