概述
這很重要,因為標準 RAG 會將其檢索到的所有內容傳遞給模型,而不相關或誤導性文件是錯誤、自信地陳述答案的主要原因。
深入探討
CRAG 在 Shi-Qi Yan 及其同事於 2024 年發表的論文《Corrective Retrieval Augmented Generation》中引入。它針對的是標準 RAG 的一個基本弱點:生成器信任檢索器。如果最重要的文件偏離主題、過時或只是鬆散相關,模型通常會給出答案。論文的設計增加了一個輕量級檢索評估器,這是原始工作中經過微調的 T5-large 模型,它對每個檢索到的文件與問題的相關性進行評分。根據這些分數,系統選擇三個操作之一。如果至少有一個文件被判斷為明顯相關,則該操作是正確的:文件經過知識細化,這是一個分解然後重組的步驟,將它們分成小條,對每個條進行評分,並僅保留有用的部分。如果所有文件分數較低,則操作不正確:檢索到的文件將被丟棄,問題將重寫為搜尋引擎風格的關鍵字,並使用網路搜尋結果,再次進行細化。如果評估者不確定,則該操作是不明確的,並且系統將精煉的內部知識與網路結果結合。作者將 CRAG 呈現為即插即用:它可以包裝標準 RAG 或 Self-RAG 等其他方法,並且他們報告了幾個短格式和長格式產生基準的改進。在實踐中,許多團隊在沒有原始微調評估器的情況下實現 CRAG 式管道,使用 LLM 提示對相關性進行評分,並使用圖或代理框架(LangGraph 有一個著名的 CRAG 教程)在步驟之間進行路由。常見誤解:CRAG 不驗證最終答案是否正確;它對檢索輸入進行評分。網路搜尋並不會自動變得更好,因為它可能帶來低品質的資源。評分會增加每個查詢的延遲和成本。
現實世界的實施
公司幫助台機器人檢索有關育嬰假問題的三個政策區塊,評分者發現沒有相關的內容,系統重寫查詢並再次搜索,而不是從錯誤的政策中回答。
醫療資訊助理對檢索到的段落進行評分,僅保留提及用戶詢問的藥物的句子,並在生成之前丟棄有關其他藥物的周圍文本。
新聞問答工具偵測到其內部檔案沒有對最近事件的報道,並回退到目前文章的網路搜尋。
當文件僅部分相關時,法律研究原型將檢索標記為不明確,並在回答之前將精煉的內部段落與新的搜尋結果結合。
矯正 RAG (CRAG) 的未來
CRAG 理念(檢查檢索品質並相應路由)已成為代理 RAG 系統中的常見模式,其中模型決定是否再次檢索、在其他地方搜尋或回答。未來的工作可能會集中在更便宜和更好校準的相關性評估器上,並將輸入檢查與輸出檢查相結合,例如驗證答案是否得到保存的證據的支持。隨著時間的推移,具體的三動作方案可能不如更廣泛的原則重要,即檢索到的上下文應該被評估而不是自動信任。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是矯正 RAG (CRAG)?
修正 RAG (CRAG) 是一種檢索增強生成方法,它在回答之前檢查檢索到的文件的相關性,並在檢索看起來較弱時採取糾正措施,例如精煉文件、重寫查詢或搜尋網路。這很重要,因為標準 RAG 會將其檢索到的所有內容傳遞給模型,而不相關或誤導性文件是錯誤、自信地陳述答案的主要原因。
CRAG 解決了標準 RAG 的哪些核心弱點?
標準 RAG 將檢索到的文件傳遞給模型,而不管相關性如何,這可能會產生可靠的錯誤答案。 CRAG 首先評估檢索。
在最初的 CRAG 論文中,什麼樣的模型充當檢索評估器?
論文使用了輕量級微調的 T5-large 模型來對文件相關性進行評分。
當所有檢索到的文檔得分較低時,CRAG 會做什麼?
錯誤操作會丟棄文檔,將問題重寫為搜尋查詢並依賴精確的網路結果。
分解然後重組步驟的目的是什麼?
知識細化將文件分成小條,對它們進行評分,並僅重新組合對生成器有用的部分。
當評估者不確定相關性時,CRAG 會採取什麼行動?
模糊行動將兩個來源混合在一起,以對沖評估者判斷中的不確定性。