提示缓存
即时缓存让人工智能模型可以重用它在重复的文本块上所做的计算工作，而不是每次都重新处理它。
概述
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
深入探讨
当语言模型读取提示时，它会通过其注意力层将每个标记转换为称为键值（KV）向量的内部数字状态。通常，即使 90% 的提示都是相同的，每次请求都会发生这种情况。提示缓存存储标记前缀的那些预先计算的 KV 状态，因此以相同文本开头的后续请求可以直接跳到新部分。像 Anthropic 和 OpenAI 这样的提供者通过让你标记一个稳定的前缀来暴露这一点；缓存命中按大幅折扣计费（通常比输入成本低 90%）并且响应速度更快。它非常适合具有固定系统提示的聊天机器人、重复使用相同文档的 RAG 管道或重播长期历史记录的代理。
技术洞察
缓存之所以有效，是因为变压器注意力是因果关系：每个令牌只关注它之前的令牌。因此，当您随后添加新标记时，前缀的 KV 状态永远不会改变。缓存的关键在于该前缀的精确标记对标记匹配，这就是为什么即使在提示符早期进行一个字符编辑也会使下游的所有内容无效。缓存的生命周期很短（几分钟），按提供者存储，并且可缓存块通常必须超过最小令牌计数。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
即时缓存的未来
期望缓存变得自动且寿命更长，提供者检测可重用的跨度而不是需要手动标记。分层和部分缓存可以让提示中间的编辑重用两侧未更改的段。当代理处理巨大的上下文和工具历史记录时，通用系统提示的跨会话和跨用户共享缓存将是使百万代币上下文在经济上可行的关键，并且设备上模型将采用类似的 KV 重用来实现快速的本地推理。
现实世界的实施
客户支持聊天机器人会缓存其 5,000 个令牌的策略和提示音系统提示，因此每条用户消息只需为新问题支付全价。
检索增强 (RAG) 应用程序会缓存一次大型参考文档，然后以一小部分成本回答有关该文档的许多问题。
编码助理将大型代码库或文件的内容缓存为固定前缀，同时开发人员提出连续的后续问题。
人工智能代理会缓存其冗长且不断增长的工具使用记录，因此每个新步骤都不会重新计费整个先前的对话。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Prompt Caching?
即时缓存让人工智能模型可以重用它在重复的文本块上所做的计算工作，而不是每次都重新处理它。当相同的长指令、文档或示例出现在一个又一个的请求中时，它可以极大地降低成本和延迟。
提示缓存主要存储和重用什么？
缓存保存为稳定前缀计算的 KV 注意状态，因此不必在每个请求上重新计算它们。
为什么缓存的前缀必须与令牌完全匹配？
由于每个令牌仅关注早期令牌，因此更改早期令牌会使依赖于它的每个状态无效，从而破坏缓存。
哪种场景最能从提示缓存中获益？
当在许多请求中重用一个大的、相同的块时，比如固定的系统提示或共享文档，缓存就会得到回报。
主要提供商的输入令牌的缓存命中大约便宜多少？
提供商通常对缓存输入的费用比正常输入率低 90% 左右，这是缓存节省资金的主要原因。
应将可重用内容放置在哪里才能最大限度地提高缓存命中率？
首先将稳定的内容作为前缀，然后将更改的内容放在后面，这样可以重用缓存的前缀，同时只处理新的令牌。