AI-verklarende term
Wat is KV-cache?
Definitie
Opgeslagen sleutel- en waardetensoren van eerdere tokens waarmee transformatoren nieuwe tokens kunnen genereren zonder de aandacht uit het verleden opnieuw te berekenen.
AI-verklarende term
Opgeslagen sleutel- en waardetensoren van eerdere tokens waarmee transformatoren nieuwe tokens kunnen genereren zonder de aandacht uit het verleden opnieuw te berekenen.