檢索品質

相關性、覆蓋範圍、新鮮度和授權都很重要。僅高相似度分數並不能證明文章回答了問題。

重點摘要

• 定義與所回答問題的相關性。
• 報告截止值和標籤規則。
• 測試新鮮度、權限和缺失的證據。

定義與預期任務的相關性。有關產品的文件可能與主題相關，但無法回答有關版本或日期的具體問題。標記完全支持證據、部分證據和不相關資料的範例。分別衡量候選集和排名。在選定的截止點回憶詢問檢索了多少相關材料；精度詢問檢索到的材料中有多少是相關的。排名感知指標評估最佳證據是否儘早出現。說明每個分數的截止和標記方法。檢查失敗模式：語義搜尋遺漏的確切標識符、關鍵字搜尋遺漏的同義詞、排名高於當前文檔的過時文檔，或從其資格中刪除的段落。混合檢索和重新排序可以幫助某些情況，但必須在相同的固定範例上進行評估。在測試集中包括存取限制和無法回答的查詢。系統不應透過傳回未經授權的文件來提高明顯的相關性。當沒有足夠的證據存在時，衡量應用程式是否傳達了該限制，而不是產生不受支持的答案。

1. 在建構的集合中，有四段文章回答了一個問題。搜尋返回五個段落，其中三個相關。
2. 五點精度為 3/5 = 60%；五歲的回憶率為 3/4 = 75%。
3. 在選擇調音變更之前檢查缺失的相關段落和兩個不相關的結果。

這些發明的計數顯示兩種不同的檢索屬性；兩者都無法單獨衡量最終答案的正確性。