人工智能术语

什么是 KV缓存?

定义

存储来自先前令牌的键和值张量，使 Transformer 可以生成新令牌而无需重新计算过去的注意力。

相关术语

持续学习
让模型不断从新数据中学习而不忘记先验知识的训练方法。
Top-k 采样
仅从 k 个最有可能的下一个标记中采样的解码策略。
无监督学习
从没有明确目标输出的未标记数据中学习模式。
滑动窗口注意
一种注意模式，其中每个令牌仅关注附近令牌的固定大小窗口以减少计算。
句子片段
一种与语言无关的分词器，可以直接从原始文本中学习子词单元，而无需在空格上进行预分割。
出席处罚
一种解码设置，可降低令牌出现的概率，从而鼓励新主题。

在我们的免费指南中了解更多信息

KV CacheKV Cache Optimization

参见

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
浏览完整的人工智能术语表探索所有免费的人工智能指南