Termín glosář AI
Co je KV cache?
Definice
Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.
Termín glosář AI
Uložené tenzory klíčů a hodnot z předchozích tokenů, které umožňují transformátorům generovat nové tokeny bez přepočítávání minulé pozornosti.