人工智能术语

什么是KV缓存?

定义

存储来自先前令牌的键和值张量,使 Transformer 可以生成新令牌而无需重新计算过去的注意力。