Termen de glosar AI

Ce este KV Cache?

Definiție

Tensorii chei și valorii stocați din jetoanele anterioare care permit transformatorilor să genereze noi jetoane fără a recalcula atenția din trecut.

Termeni înrudiți

Învățare continuă
Abordări de formare care permit unui model să continue să învețe din date noi, fără a uita cunoștințele anterioare.
Eșantionarea top-k
O strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.
Învățare nesupravegheată
Modele de învățare din date neetichetate fără rezultate țintă explicite.
Atenție fereastră glisantă
Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.
SentencePiece
Un tokenizer agnostic de limbă care învață unitățile de subcuvinte direct din textul brut fără a împărți în prealabil spațiile albe.
Pedeapsa de prezenta
O setare de decodare care reduce probabilitatea de apariție a jetoanelor, încurajând subiecte noi.

Aflați mai multe în ghidurile noastre gratuite

KV CacheKV Cache Optimization

Vezi și

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite