What is KV Cache? Definition | AI Understanding

Meghatározás

Tárolt kulcs- és értéktenzorok a korábbi tokenekből, amelyek lehetővé teszik a transzformátorok számára, hogy új tokeneket generáljanak a korábbi figyelem újraszámítása nélkül.

Kapcsolódó kifejezések

Folyamatos tanulás

Képzési megközelítések, amelyek lehetővé teszik, hogy a modell folyamatosan tanuljon az új adatokból anélkül, hogy elfelejtené az előzetes tudást.

Top-k Mintavétel

Dekódolási stratégia, amely csak a k legvalószínűbb következő tokenből vesz mintát.

Felügyelet nélküli tanulás

Minták tanulása címkézetlen adatokból explicit célkimenetek nélkül.

Tolóablak Figyelem

Figyelembe vételi minta, amelyben minden token csak a közeli tokenek fix méretű ablakát veszi figyelembe, hogy csökkentse a számítást.

Nyelv-agnosztikus tokenizáló, amely közvetlenül a nyers szövegből tanulja meg az alszavak egységeit anélkül, hogy szóközönként felosztásra kerülne.

Jelenléti büntetés

Egy dekódolási beállítás, amely csökkenti annak valószínűségét, hogy egyáltalán megjelentek a tokenek, új témákra ösztönözve.

Tudjon meg többet ingyenes útmutatóinkból

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Böngésszen a teljes AI szószedetben Fedezze fel az összes ingyenes AI-útmutatót