What is KV Cache? Definition | AI Understanding

Definice

Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.

Související pojmy

Průběžné učení

Tréninkové přístupy, které umožňují modelu neustále se učit z nových dat, aniž by zapomínal na předchozí znalosti.

Top-k vzorkování

Strategie dekódování, která vzorkuje pouze z k nejpravděpodobnějších dalších tokenů.

Učení bez dozoru

Učení vzorů z neoznačených dat bez explicitních cílových výstupů.

Posuvné okno Pozor

Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.

Jazykově agnostický tokenizér, který se učí jednotky podslov přímo z nezpracovaného textu bez předběžného dělení na mezery.

Trest za přítomnost

Nastavení dekódování, které snižuje pravděpodobnost, že se tokeny vůbec objevily, a podněcují nová témata.

Více se dozvíte v našich bezplatných průvodcích

KV Cache KV Cache Optimization

Viz také

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI