概述
密集段落检索 (DPR) 通过比较问题和段落的含义（作为数字向量，而不是匹配单词）来查找相关文本。这很重要，因为即使查询和文档共享零词汇量，它也可以检索正确的答案。
密集段落检索是语言人工智能堆栈的一部分，用于大规模阅读、生成、分类和转换文本和语音。
深入探讨
Facebook AI 于 2020 年推出的 DPR 使用两个独立的 BERT 编码器：问题编码器和段落编码器。每个都将文本转换为固定长度的密集向量（通常为 768 维）。相关性是问题向量和段落向量之间的点积，因此检索变成了对预先计算的段落嵌入的快速最近邻搜索。该模型以对比目标进行训练：使用批量否定加上从 BM25 中挖掘的硬否定，将正确的段落向量拉近问题，并将错误的向量推开。在 Natural Questions 等开放域 QA 基准测试中，DPR 大幅击败了长期占据主导地位的 BM25，这表明学习语义匹配在回答问题方面的表现可能优于关键字搜索。
技术洞察
DPR 是一个双编码器：它独立地对查询和每个段落进行编码，因此所有段落向量都计算一次并存储在向量索引中（例如 FAISS）。在查询时，您只需对问题进行编码，然后运行近似最近邻搜索。训练依赖于批内负例 - 同一小批量中的其他段落几乎免费充当负例，这使得一对正例可以有效地生成许多对比比较。
掌握密集段落检索
密集段落检索 (DPR) 通过比较问题和段落的含义（作为数字向量，而不是匹配单词）来查找相关文本。这很重要，因为即使查询和文档共享零词汇量，它也可以检索正确的答案。密集段落检索是语言人工智能堆栈的一部分，用于大规模阅读、生成、分类和转换文本和语音。为了建立深入的理解，请将密集通道检索视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用密集通道检索的强大团队将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
开放域问答系统，在法学硕士写下答案之前提取支持维基百科的段落
企业文档搜索，员工提出自然问题并获取相关段落，即使没有确切的关键字
客户支持机器人从转述的投诉中检索正确的帮助中心文章
检索增强型聊天机器人将响应建立在私人知识库中，以减少幻觉
实施模式
密集通道检索实践
开放域问答系统，在法学硕士撰写答案之前提取支持维基百科的段落。
开放域问答系统，在法学硕士撰写答案之前提取支持维基百科的段落。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
密集通道检索实践
企业文档搜索，员工提出自然问题并获取相关段落，即使没有确切的关键字。
企业文档搜索，员工提出自然问题并获取相关段落，即使没有确切的关键字。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
密集通道检索实践
客户支持机器人从转述的投诉中检索正确的帮助中心文章。
客户支持机器人从转述的投诉中检索正确的帮助中心文章当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
密集通道检索实践
检索增强型聊天机器人将响应建立在私人知识库中，以减少幻觉。
检索增强的聊天机器人将响应建立在私有知识库中，以减少幻觉。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。