概述
这很重要,因为它限制了我们对检索到的文档的长上下文模型的信任程度。
深入探討
史丹佛大學的劉和同事在 2023 年進行的一項研究中發現,當向模型提供許多文件並要求模型使用包含關鍵事實的文件來回答時,就會出現這種效應。準確度形成了一條 U 形曲線:當相關段落位於提示的開頭或結尾時,準確度最高,而當相關段落位於中間時,準確度明顯較低。即使是標榜具有長上下文能力的模型也是如此。對於檢索增強生成來說,這意味著很明顯:將數十個段落塞進提示中並不能保證模型均勻地讀取它們。位置,而不僅僅是存在,決定了模型是否關注事實。這項工作將長上下文重新定義為有效使用的問題,而不是原始視窗大小的問題。
現實世界的實施
RAG 系統檢索 20 個文檔,但錯過了答案,因為它落在 20 個文檔中的第 10 個段落中。
工程師對搜尋結果進行重新排序,將最相關的區塊放在提示的前面或最後。
長文檔摘要者會低估合約中出現的關鍵細節。
「大海撈針」基準隱藏了不同深度的事實,以繪製模型的位置精度圖表。
迷失在中間效應的未來
研究人員正在透過注意力調整、位置感知訓練和更聰明的檢索來解決這種影響,這些檢索將最相關的段落重新排列到提示的邊緣。評估套件現在包括跨職位的「大海撈針」測試,以衡量有效的背景。隨著架構的改進,U 曲線正在變平,但從業者將繼續設計管道,將關鍵證據放置在模型實際看起來的地方,而不是相信統一的注意力。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
中間效應丟失了什麼?
「迷失在中間」效應是指語言模型傾向於在長輸入的開頭或結尾時最好地使用訊息,而忽略埋藏在中間的事實。這很重要,因為它限制了我們對檢索到的文件的長上下文模型的信任程度。
迷失在中间的研究报告了什么样的位置模式?
该论文观察到中间表现较弱的 U 形模式。
該研究的任務設定是什麼?
该研究评估了检索式任务的长上下文使用。
对于大的上下文窗口,这种效应意味着什么?
研究发现,绩效可能取决于相关信息的位置。
RAG 提示包含許多檢索到的段落。應該評估什麼?
该指南称,填充通道并不能确保它们被均匀使用。
为什么中间的相关事实可能会被遗漏?
该论文指出,位置影响有效使用,而不仅仅是存在。