概述
相关性、覆盖范围、新鲜度和授权都很重要。仅高相似度分数并不能证明文章回答了问题。
主要要点
- 定义与所回答问题的相关性。
- 报告截止值和标签规则。
- 测试新鲜度、权限和缺失的证据。
深入探讨
定义与预期任务的相关性。有关产品的文档可能与主题相关，但无法回答有关版本或日期的具体问题。标记完全支持证据、部分证据和不相关材料的示例。分别衡量候选集和排名。在选定的截止点回忆询问检索了多少相关材料；精度询问检索到的材料中有多少是相关的。排名感知指标评估最佳证据是否尽早出现。说明每个分数的截止和标记方法。检查失败模式：语义搜索遗漏的确切标识符、关键字搜索遗漏的同义词、排名高于当前文档的过时文档，或者从其资格中删除的段落。混合检索和重新排序可以帮助某些情况，但必须在相同的固定示例上进行评估。在测试集中包括访问限制和无法回答的查询。系统不应通过返回未经授权的文档来提高明显的相关性。当没有足够的证据存在时，衡量应用程序是否传达了该限制，而不是产生不受支持的答案。
04工作示例
计算检索精度和召回率
在构建的集合中，有四段文章回答了一个问题。搜索返回五个段落，其中三个相关。
五点精度为 3/5 = 60%；五岁的回忆率为 3/4 = 75%。
在选择调音更改之前检查缺失的相关段落和两个不相关的结果。
它显示了什么
这些发明的计数显示出两种不同的检索属性；两者都无法单独衡量最终答案的正确性。
现实世界的实施
测试准确的订单代码和解释的支持问题的检索。
检查当前策略版本是否高于存档版本。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
资料来源与延伸阅读
- Pinecone增加搜索相关性
不断探索
常见问题
我应该总是检索更多段落吗？
不。更多的段落可能会扩大覆盖范围，但也会增加不相关或相互冲突的背景。衡量整个应用程序中的权衡。