语言人工智能指南

混合搜索

混合搜索将关键字匹配与语义向量搜索混合在一起,因此系统可以捕获确切的术语和查询背后的含义。

概述

混合搜索将关键字匹配与语义向量搜索混合在一起,因此系统可以捕获确切的术语和查询背后的含义。这很重要,因为每种方法都存在盲点,将它们结合起来可以为聊天机器人、RAG 管道和企业搜索提供明显更好的检索。

混合搜索是语言 AI ​​堆栈的一部分,用于大规模读取、生成、分类和转换文本和语音。

深入探讨

混合搜索同时运行两个检索器。像 BM25 这样的稀疏检索器通过精确的单词重叠、术语频率和稀有性对文档进行评分,因此它可以确定特定的名称、代码和行话。密集检索器将查询和文档嵌入向量中,并通过余弦相似度查找邻居,即使措辞不同也能捕获含义。然后,通常使用倒数排名融合(RRF)来合并两个排名列表,该融合结​​合了位置而不是原始分数,因此不兼容的尺度可以很好地发挥作用。回报是稳健性:密集搜索处理释义和同义词,而稀疏搜索保证文字 SKU、错误代码或姓氏不会丢失。大多数生产 RAG 堆栈和搜索引擎现在默认采用某种混合配置。

技术洞察

稀疏和密集分数存在于不同的尺度上,因此您不能简单地将它们相加。倒数排名融合通过将每个文档评分为两个结果列表中 1/(k + 排名) 的总和来回避这一问题,其中 k 是接近 60 的常数。因为它使用排名位置而不是幅度,所以 RRF 调整轻且融合稳定。替代方案包括加权分数标准化和学习重新排序器,但 RRF 因其简单性仍然是流行的默认值。

掌握混合搜索

混合搜索将关键字匹配与语义向量搜索混合在一起,因此系统可以捕获确切的术语和查询背后的含义。这很重要,因为每种方法都存在盲点,将它们结合起来可以为聊天机器人、RAG 管道和企业搜索提供明显更好的检索。混合搜索是语言 AI ​​堆栈的一部分,用于大规模读取、生成、分类和转换文本和语音。为了建立深入的理解,请将混合搜索视为一种操作模型,而不是单一功能:定义所需的结果,澄清假设,并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。

在实践中,使用混合搜索的强大团队将提示、检索和审查循环设计为一个集成通信系统。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时,幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

语言工作流程可以在不牺牲一致性的情况下更快地移动。

语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

它扩展了跨语言和沟通方式的访问。

它扩展了跨语言和沟通方式的访问。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

团队可以花更多时间进行判断,而自动化则可以处理重复。

团队可以花更多时间进行判断,而自动化则可以处理重复。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

混合搜索的未来

预计混合搜索将成为静默默认设置,而不是配置选择,直接融入矢量数据库和搜索平台。像 SPLADE 这样的学习稀疏模型通过从神经网络生成可解释的术语权重来模糊稀疏与密集的界限。 ColBERT 和交叉编码器重新排序等多向量方法将越来越多地位于混合候选者之上,以挤出最终精度,而更便宜的嵌入使得在每个查询例程上运行两个检索器。

现实世界的实施

无论用户输入确切的错误代码“ERR_0x80070005”还是描述“安装时权限被拒绝”,客户支持 RAG 机器人都会检索正确的帮助文章。

当购物者搜索精确的型号以及输入诸如“旅行用安静笔记本电脑”之类的模糊短语时,电子商务搜索就会显示产品。

法律文件发现通过精确​​定义的术语查找合同条款,同时还提取措辞不同的语义相关条款。

公司内部知识库与“OKR-Q3”等员工首字母缩略词完全匹配,同时仍然回答“我们如何设定季度目标”等概念性问题。

实施模式

混合搜索实践

无论用户输入确切的错误代码“ERR_0x80070005”还是描述“安装时权限被拒绝”,客户支持 RAG 机器人都会检索正确的帮助文章。

无论用户输入确切的错误代码“ERR_0x80070005”还是描述“安装时权限被拒绝”,客户支持 RAG 机器人都会检索正确的帮助文章。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

混合搜索实践

当购物者搜索精确的型号以及输入诸如“旅行用安静笔记本电脑”之类的模糊短语时,电子商务搜索就会显示产品。

当购物者搜索精确的型号时,以及当他们输入诸如“旅行用安静笔记本电脑”之类的模糊短语时,电子商务搜索就会显示产品。如果团队预先定义质量阈值,为边缘情况保留人工升级路径,并随着时间的推移跟踪生产力的提高和错误成本,那么通常会得到更好的结果。

混合搜索实践

法律文件发现通过精确​​定义的术语查找合同条款,同时还提取措辞不同的语义相关条款。

法律文档发现通过精确​​定义的术语找到合同条款,同时还提取不同措辞的语义相关条款。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

混合搜索实践

公司内部知识库与“OKR-Q3”等员工首字母缩略词完全匹配,同时仍然回答“我们如何设定季度目标”等概念性问题。

公司内部知识库与“OKR-Q3”等员工首字母缩略词完全匹配,同时仍然回答诸如“我们如何设定季度目标”之类的概念性问题。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

风险与防护栏

!

幻觉的事实可以悄悄地进入报告、支持流程或研究成果。

!

及时的敏感性可能会在类似的请求中产生不一致的结果。

!

如果访问控制薄弱,敏感文本数据可能会暴露。

实施路线图

1

在推出之前定义输出格式、语气和质量标准。

在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

当准确性很重要时,请使用可信来源进行地面响应。

当准确性很重要时,请使用可信来源进行地面响应。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

为高风险输出保留人工审查检查点。

为高风险输出保留人工审查检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

跟踪故障模式并定期重新训练提示或工作流程。

跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索