引導式測驗 · 中等 等級

檢索品質測驗

檢查檢索相關性、召回率和精確度、排名、當前證據、權限、無法回答的查詢和缺失的支援。

相關引導路徑檢索品質
問題 1 的 8

檢索系統的recall@k衡量什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 檢索系統的recall@k衡量什麼?
    • 第一个返回的相关文档的排名位置
    • 实际相关的前 k 个结果的比例
    • 前k个中找到的所有相关文档的份额
    • 系统返回k个结果所花费的时间
  2. 检索评估关心的是最好的证据是否出现在顶部附近。什么样的指标可以解决这个问题?
    • 排名感知指標
    • 服务器正常运行时间指标
    • 已儲存檔案的計數
    • 分詞器詞彙量大小
  3. 语义搜索会错过确切的顺序代码,而关键字搜索会错过释义的问题。团队应该检查什么?
    • 僅儲存的文件數量
    • 是否每个用户都问同样的问题
    • 搜尋按鈕的外觀
    • 每种检索方法在固定示例上的盲点
  4. 团队添加了混合检索和重新排名。它应该如何判断改变是否有帮助?
    • 仅比较更改后的最高相似度分数
    • 在相同的固定标签示例上评估两个版本
    • 假设检索到的段落越多总会改善答案
    • 计算模型参数的数量而不是结果的数量
  5. 检索到的段落失去了限定其主张的句子。审阅者应该标记什么失败模式?
    • 原始檔必然是假的
    • 用戶肯定問了一個無法回答的問題
    • 一段話被取消資格
    • 搜尋系統回傳的語言太少
  6. 在指南构建的示例中,返回了五个段落,其中三个是相关的。五級精度是多少?
    • 五分之三,即 60%
    • 四分之三,即 75%
    • 四分之五,即 125%
    • 五分之一,即 20%
  7. 为什么检索测试应包括访问限制和无法回答的查询?
    • 增加平均相似度分數
    • 检查系统是否避免未经授权的证据和不受支持的答案
    • 確保每個查詢返回一個文檔
    • 替換相關標籤
  8. 一段话是关于正确的产品,但描述的是旧版本。這說明什麼?
    • 该段落必须排名第一,因为它共享关键字
    • 該查詢沒有檢索要求
    • 高相似度分數證明了答案
    • 仅主题相关性可能无法提供问题中特定版本或日期的证据