概述
這對於小型、穩定的語料庫很重要,因為它消除了檢索錯誤和索引維護,同時比每次重新閱讀文件更快回答。
深入探討
快取增強生成(CAG)用預先載入代替檢索步驟。系統不是為每個問題搜尋知識庫,而是將整個知識庫提供給模型一次,保存產生的鍵值 (KV) 緩存,並為每個後續查詢重複使用該快取。該方法在 2024 年 12 月發表的一篇題為“Don’t Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks”的論文中進行了描述。 KV 快取是轉換器為它讀取的每個標記計算的一組中間注意鍵和值。通常它是在單一請求期間建置並丟棄的。在CAG中,文件被提前處理,快取被存儲,每個問題被附加在快取的前綴之後。該模型僅在生成之前計算新的問題標記,因此與每次重新讀取文件相比,答案開始得更快。應答後,附加的標記將被截斷,以便快取返回到僅文檔狀態以進行下一個查詢。好處是不會出現檢索錯誤,因為每個文件始終存在,無需維護嵌入索引或向量資料庫,並且每次查詢的延遲比簡單的長上下文要低。直接遵循限制:整個語料庫必須適合模型的上下文窗口,模型仍然必須對這麼多文本進行很好的推理,並且對文件的任何更改都意味著重建快取。因此,CAG 適合小型、穩定的知識庫,例如產品手冊、政策集、教學大綱或固定的監管文本。它不適合大型、快速變化或經過權限過濾的集合。一個常見的誤解是 CAG 訓練模型。沒有什麼是微調的;權重不變。來自 API 提供者的商業提示快取是同一想法的託管親戚。
現實世界的實施
擁有 60 頁員工手冊的公司將其預先載入到開放權重模型的 KV 快取中,因此每個 HR 問題都可以透過完整的手冊得到回答,並且無需維護向量資料庫。
軟體供應商為支援助理快取其產品手冊,並僅在發布新的手冊版本時重建快取。
講師預先載入課程大綱和講義,以便學習助理可以在整個學期快速回答學生的問題。
合規團隊使用託管 API 的提示快取將固定的監管文字保留為快取前綴,從而為多個問題的重複讀取支付較低的費用。
快取增強生成 (CAG) 的未來
CAG 的實際範圍隨著上下文視窗的延長和 KV 快取壓縮的改進而增長,但它仍然受到記憶體以及模型對很長輸入的推理能力的限制。混合設計是自然的下一步:快取經常需要的文件的穩定核心並按需檢索長尾。對快取壓縮、將快取卸載到更便宜的儲存以及選擇保留哪些令牌的研究可能會使更大的預先載入語料庫變得可行。目前,明智的測試是經驗性的:根據您自己的問題、成本和更新頻率比較 CAG、RAG 和簡單的長上下文。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是快取增強生成 (CAG)?
快取增強產生 (CAG) 將整個固定知識庫一次預先載入到語言模型的鍵值 (KV) 快取中,並為每個問題重複使用該緩存,而不是像 RAG 那樣根據查詢檢索文件。這對於小型、穩定的語料庫很重要,因為它消除了檢索錯誤和索引維護,同時比每次重新閱讀文件更快回答。
CAG 使用什麼來代替按查詢檢索?
CAG 提前計算語料庫的 KV 快取,並在每個查詢中重複使用它。
Transformer 中的 KV 快取是什麼?
來自註意力層的鍵和值被緩存,因此不需要重新計算早期的標記。
為什麼 CAG 系統在每次回答後都會截斷快取?
刪除附加的令牌會將快取重設為乾淨的預先載入狀態,以供下一個問題使用。
CAG 的主要限制是什麼?
由於每個文件都是預先載入的,因此語料庫受到上下文視窗和可用記憶體的限制。
為什麼 CAG 的答覆速度比將文件貼到每個請求中更快?
文檔的計算已經完成並存儲,因此每個查詢僅處理問題。