概述
它可以讓系統存取相關文檔,而無需為每次文檔更改重新訓練模型。檢索並不保證最終答案得到支持或正確。
重點摘要
- 保留出處和文檔上下文。
- 在檢索結果到達模型之前強制執行權限。
- 獨立評估檢索和產生。
深入探討
典型的管道收集文檔,保留其來源,創建可搜尋的表示,檢索查詢的候選者,並將選定的證據傳遞給模型。一些系統將關鍵字和語義搜尋結合起來,或在生成之前對結果進行重新排序。每個階段都可能引入遺漏或錯誤。文件準備決定了可以找到什麼證據。將內容劃分為段落時保留標題、日期、表格和來源識別碼。即使單字複製正確,與例外或腳註分開的段落也可能傳達錯誤的含義。在證據到達模型之前應用存取控制。語意相關的搜尋結果可能仍屬於不允許請求使用者查看的文件。將檢索到的文件中的指令視為不受信任的內容,而不是更改應用程式行為的權限。分別評估檢索和回答。檢查所需的證據是否出現在候選集中,所選上下文是否保留了它,以及答案是否忠實地使用了它。包括集合中沒有答案的問題以及衝突或過時的文件。系統需要一種明確的方式來表明證據不足。
04工作範例
找出有根據的答案失敗的地方
建構兩個策略:過期版本允許30天退貨;目前版本允許 14 天。
如果檢索僅傳回舊策略,則故障發生在產生的上游。如果兩者都檢索到但答案選擇 30 天,則調查上下文選擇和證據使用。
將生效日期衝突加入檢索和答案評估。
它顯示了什麼
本發明的範例將兩個原因分開,否則這兩個原因看起來像是相同的錯誤答案。
現實世界的實施
使用當前政策及其生效日期回答支援問題。
返回來源段落並附上解釋,以便讀者可以驗證。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- Lewis and colleagues知識密集型 NLP 任務的檢索增強生成
不斷探索
常見問題
RAG可以消除幻覺嗎?
不會。檢索可能會遺失證據、傳回誤導性材料或被生成器錯誤使用。最終的答案還需要評估。