AI-verklarende term

Wat is KV-cache?

Definitie

Opgeslagen sleutel- en waardetensoren van eerdere tokens waarmee transformatoren nieuwe tokens kunnen genereren zonder de aandacht uit het verleden opnieuw te berekenen.