Termín glosář AI

Co je KV cache?

Definice

Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.