提示快取
即時快取讓人工智慧模型可以重複使用它在重複的文字區塊上所做的計算工作，而不是每次都重新處理它。
概述
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
深入探討
當語言模型讀取提示時，它會透過其註意力層將每個標記轉換為稱為鍵值（KV）向量的內部數字狀態。通常，即使 90% 的提示都是相同的，每次請求都會發生這種情況。提示快取儲存標記前綴的那些預先計算的 KV 狀態，因此以相同文字開頭的後續請求可以直接跳到新部分。像 Anthropic 和 OpenAI 這樣的提供者透過讓你標記一個穩定的前綴來暴露這一點；快取命中按大幅折扣計費（通常比輸入成本低 90%）並且回應速度更快。它非常適合具有固定係統提示的聊天機器人、重複使用相同文件的 RAG 管道或重播長期歷史記錄的代理。
技術洞察
快取之所以有效，是因為變壓器注意力是因果關係：每個令牌只關注它之前的令牌。因此，當您隨後新增標記時，前綴的 KV 狀態永遠不會改變。快取的關鍵在於該前綴的精確標記對標記匹配，這就是為什麼即使在提示符早期進行一個字元編輯也會使下游的所有內容無效。快取的生命週期很短（幾分鐘），按提供者存儲，並且可緩存區塊通常必須超過最小令牌計數。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
即時快取的未來
期望快取變得自動且壽命更長，提供者檢測可重複使用的跨距而不是需要手動標記。分層和部分快取可以讓提示中間的編輯重複使用兩側未更改的段。當代理程式處理龐大的上下文和工具歷史記錄時，通用系統提示的跨會話和跨用戶共享快取將是使百萬代幣上下文在經濟上可行的關鍵，並且設備上模型將採用類似的 KV 重用來實現快速的本地推理。
現實世界的實施
客戶支援聊天機器人會快取其 5,000 個令牌的策略和提示音系統提示，因此每個使用者訊息只需為新問題支付全額。
檢索增強 (RAG) 應用程式會快取一次大型參考文檔，然後以一小部分成本回答有關該文檔的許多問題。
編碼助理將大型程式碼庫或檔案的內容快取為固定前綴，同時開發人員提出連續的後續問題。
人工智慧代理會快取其冗長且不斷增長的工具使用記錄，因此每個新步驟都不會重新計費整個先前的對話。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Prompt Caching?
即時快取讓人工智慧模型可以重複使用它在重複的文字區塊上所做的計算工作，而不是每次都重新處理它。當相同的長指令、文件或範例出現在一個又一個的請求中時，它可以大大降低成本和延遲。
提示快取主要儲存和重複使用什麼？
快取保存為穩定前綴計算的 KV 注意狀態，因此不必在每個請求上重新計算它們。
為什麼快取的前綴必須與令牌完全匹配？
由於每個令牌僅關注早期令牌，因此更改早期令牌會使依賴它的每個狀態無效，從而破壞快取。
哪種場景最能從提示快取中獲益？
當在許多請求中重複使用一個大的、相同的區塊時，例如固定的系統提示或共享文檔，快取就會得到回報。
主要提供者的輸入令牌的快取命中大約便宜多少？
提供者通常對快取輸入的費用比正常輸入率低 90% 左右，這是快取節省資金的主要原因。
應將可重複使用內容放置在哪裡才能最大限度地提高快取命中率？
首先將穩定的內容作為前綴，然後將更改的內容放在後面，這樣可以重複使用快取的前綴，同時只處理新的令牌。