概述
相關性、覆蓋範圍、新鮮度和授權都很重要。僅高相似度分數並不能證明文章回答了問題。
重點摘要
- 定義與所回答問題的相關性。
- 報告截止值和標籤規則。
- 測試新鮮度、權限和缺失的證據。
深入探討
定義與預期任務的相關性。有關產品的文件可能與主題相關,但無法回答有關版本或日期的具體問題。標記完全支持證據、部分證據和不相關資料的範例。分別衡量候選集和排名。在選定的截止點回憶詢問檢索了多少相關材料;精度詢問檢索到的材料中有多少是相關的。排名感知指標評估最佳證據是否儘早出現。說明每個分數的截止和標記方法。檢查失敗模式:語義搜尋遺漏的確切標識符、關鍵字搜尋遺漏的同義詞、排名高於當前文檔的過時文檔,或從其資格中刪除的段落。混合檢索和重新排序可以幫助某些情況,但必須在相同的固定範例上進行評估。在測試集中包括存取限制和無法回答的查詢。系統不應透過傳回未經授權的文件來提高明顯的相關性。當沒有足夠的證據存在時,衡量應用程式是否傳達了該限制,而不是產生不受支持的答案。
04工作範例
計算檢索精準度和召回率
在建構的集合中,有四段文章回答了一個問題。搜尋返回五個段落,其中三個相關。
五點精度為 3/5 = 60%;五歲的回憶率為 3/4 = 75%。
在選擇調音變更之前檢查缺失的相關段落和兩個不相關的結果。
它顯示了什麼
這些發明的計數顯示兩種不同的檢索屬性;兩者都無法單獨衡量最終答案的正確性。
現實世界的實施
測試準確的訂單代碼和解釋的支援問題的檢索。
檢查目前策略版本是否高於存檔版本。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
資料來源與延伸閱讀
- Pinecone增加搜尋相關性
不斷探索
常見問題
我應該總是檢索更多段落嗎?
不。更多的段落可能會擴大覆蓋範圍,但也會增加不相關或相互衝突的背景。衡量整個應用程式中的權衡。