Termine del glossario AI

Che cos’è Cache KV?

Definizione

Tensori di chiave e valore memorizzati da token precedenti che consentono ai trasformatori di generare nuovi token senza ricalcolare l'attenzione passata.