概述
这很重要,因为纯粹的相关性排名通常会返回近似重复的段落,从而浪费 RAG 上下文窗口中的空间。
深入探討
當搜尋系統純粹根據與查詢的相關性對文件進行評分時,最上面的結果通常是多餘的——五個段落都說同樣的事情。卡博內爾和戈爾茨坦於 1998 年推出的 MMR 透過一次選擇一個結果來解決這個問題。在每一步中,它都會選擇使加權混合最大化的候選者:lambda乘以與查詢的相關性,減去(1減lambda)乘以與已選擇的任何內容的最大相似度。接近 1 的 lambda 有利於純粹的相關性;接近 0 有利於多樣性。在檢索增強生成中,MMR 很受歡迎,用於獲取不同的區塊集,因此語言模型會看到互補的證據,而不是重複相同的事實,從而在不擴大上下文的情況下提高覆蓋範圍。
現實世界的實施
RAG 聊天機器人使用 MMR 檢索,因此其前 5 個區塊涵蓋策略的不同方面,而不是同一段落的五個釋義。
研究摘要工具應用 MMR 來挑選盡量減少重疊的段落,從而產生更廣泛、更少重複的摘要。
新聞聚合商使用 MMR 對文章進行排名,以顯示對同一事件的不同報道,而不是十家媒體重複同一個新聞報道。
LangChain 的向量儲存檢索器使用 fetch_k 和 lambda_mult 公開 search_type='mmr' 以使傳回的文件多樣化。
最大邊際相關性的未來
MMR 在 LangChain 和 Chroma 等向量資料庫用戶端中仍然是一種輕量級預設設置,它作為單行檢索模式提供。未來的系統越來越多地將其與學習的多樣性目標、基於集群的選擇和跨編碼器重新排序器結合起來,這些重新排序器在語義上比餘弦距離更能判斷新穎性。隨著上下文視窗的增長,重點從節省空間轉向整理真正互補的證據,即使在原始容量充足的情況下,也能保持 MMR 等具有多樣性意識的選擇相關性。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是最大邊際相關性?
最大邊際相關性 (MMR) 是一種重新排名方法,可平衡結果的相關性和與已選擇結果的差異程度。這很重要,因為純粹的相關性排名通常會傳回近似重複的段落,從而浪費 RAG 上下文視窗中的空間。
MMR 旨在解決的主要問題是什麼?
MMR 透過獎勵新穎性,解決了僅相關性排名的趨勢,即顯示許多本質上相同的結果。
在MMR公式中,接近1的lambda值強調什麼?
Lambda 權重相關性;接近 1 時,相關性項占主導地位,而接近 0 時,多樣性(低相似性)項占主導地位。
MMR 如何選擇結果?
MMR 是一種貪婪迭代方法:每次選擇都會最大化相關性減去與已選擇項目的最大相似度。
基於嵌入的 MMR 實作如何衡量查詢相關性和文件冗餘?
通用演算法允許合適的相似函數;餘弦是向量表示的常見選擇。
為什麼 MMR 在檢索增強生成 (RAG) 中特別有用?
透過使檢索到的區塊多樣化,MMR 幫助模型看到不同的證據,而不是重複相同的事實,從而提高覆蓋率。