技術指南

矯正 RAG (CRAG)

修正 RAG (CRAG) 是一種檢索增強生成方法,它在回答之前檢查檢索到的文件的相關性,並在檢索看起來較弱時採取糾正措施,例如精煉文件、重寫查詢或搜尋網路。

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 矯正 RAG (CRAG) 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為標準 RAG 會將其檢索到的所有內容傳遞給模型,而不相關或誤導性文件是錯誤、自信地陳述答案的主要原因。

深入探討

CRAG 在 Shi-Qi Yan 及其同事於 2024 年發表的論文《Corrective Retrieval Augmented Generation》中引入。它針對的是標準 RAG 的一個基本弱點:生成器信任檢索器。如果最重要的文件偏離主題、過時或只是鬆散相關,模型通常會給出答案。論文的設計增加了一個輕量級檢索評估器,這是原始工作中經過微調的 T5-large 模型,它對每個檢索到的文件與問題的相關性進行評分。根據這些分數,系統選擇三個操作之一。如果至少有一個文件被判斷為明顯相關,則該操作是正確的:文件經過知識細化,這是一個分解然後重組的步驟,將它們分成小條,對每個條進行評分,並僅保留有用的部分。如果所有文件分數較低,則操作不正確:檢索到的文件將被丟棄,問題將重寫為搜尋引擎風格的關鍵字,並使用網路搜尋結果,再次進行細化。如果評估者不確定,則該操作是不明確的,並且系統將精煉的內部知識與網路結果結合。作者將 CRAG 呈現為即插即用:它可以包裝標準 RAG 或 Self-RAG 等其他方法,並且他們報告了幾個短格式和長格式產生基準的改進。在實踐中,許多團隊在沒有原始微調評估器的情況下實現 CRAG 式管道,使用 LLM 提示對相關性進行評分,並使用圖或代理框架(LangGraph 有一個著名的 CRAG 教程)在步驟之間進行路由。常見誤解:CRAG 不驗證最終答案是否正確;它對檢索輸入進行評分。網路搜尋並不會自動變得更好,因為它可能帶來低品質的資源。評分會增加每個查詢的延遲和成本。

現實世界的實施

公司幫助台機器人檢索有關育嬰假問題的三個政策區塊,評分者發現沒有相關的內容,系統重寫查詢並再次搜索,而不是從錯誤的政策中回答。

醫療資訊助理對檢索到的段落進行評分,僅保留提及用戶詢問的藥物的句子,並在生成之前丟棄有關其他藥物的周圍文本。

新聞問答工具偵測到其內部檔案沒有對最近事件的報道,並回退到目前文章的網路搜尋。

當文件僅部分相關時,法律研究原型將檢索標記為不明確,並在回答之前將精煉的內部段落與新的搜尋結果結合。

矯正 RAG (CRAG) 的未來

CRAG 理念(檢查檢索品質並相應路由)已成為代理 RAG 系統中的常見模式,其中模型決定是否再次檢索、在其他地方搜尋或回答。未來的工作可能會集中在更便宜和更好校準的相關性評估器上,並將輸入檢查與輸出檢查相結合,例如驗證答案是否得到保存的證據的支持。隨著時間的推移,具體的三動作方案可能不如更廣泛的原則重要,即檢索到的上下文應該被評估而不是自動信任。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加修正 RAG (CRAG) 測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是矯正 RAG (CRAG)?

修正 RAG (CRAG) 是一種檢索增強生成方法,它在回答之前檢查檢索到的文件的相關性,並在檢索看起來較弱時採取糾正措施,例如精煉文件、重寫查詢或搜尋網路。這很重要,因為標準 RAG 會將其檢索到的所有內容傳遞給模型,而不相關或誤導性文件是錯誤、自信地陳述答案的主要原因。

CRAG 解決了標準 RAG 的哪些核心弱點?

標準 RAG 將檢索到的文件傳遞給模型,而不管相關性如何,這可能會產生可靠的錯誤答案。 CRAG 首先評估檢索。

在最初的 CRAG 論文中,什麼樣的模型充當檢索評估器?

論文使用了輕量級微調的 T5-large 模型來對文件相關性進行評分。

當所有檢索到的文檔得分較低時,CRAG 會做什麼?

錯誤操作會丟棄文檔,將問題重寫為搜尋查詢並依賴精確的網路結果。

分解然後重組步驟的目的是什麼?

知識細化將文件分成小條,對它們進行評分,並僅重新組合對生成器有用的部分。

當評估者不確定相關性時,CRAG 會採取什麼行動?

模糊行動將兩個來源混合在一起,以對沖評估者判斷中的不確定性。