概述
BM25、密集检索器和学习稀疏方法产生不同的候选排名；排名融合可以组合这些结果，而无需假设它们的原始分数共享一个尺度。
深入探讨
混合检索对同一查询运行多种检索方法，并对结果候选结果进行组合或重新排序。诸如 BM25 之类的词法方法对于匹配术语非常有用；密集向量检索通过嵌入相似性进行排名。倒数排名融合 (RRF) 根据文档在结果列表中的位置而不是根据原始分数来组合文档，原始分数可能不会相互校准。 BEIR 评估跨异构零样本数据集的检索方法，并将 BM25 报告为稳健的基线；重排序和后期交互方法平均表现良好，但会产生更高的计算成本。 SPLADE 是一种学习稀疏排序模型，它使用显式稀疏性和学习项权重。这些发现促使我们在目标语料库上测试候选者的召回率、最终排名质量、延迟和成本；没有任何检索组合可以保证生成正确的答案。
现实世界的实施
检索系统可以将精确术语搜索与向量相似性相结合，然后测量其自身查询集的召回率和排名。
开发人员可以在产品代码和释义问题上比较 BM25、密集型和混合型候选者。
RRF 可以使用排名位置融合独立排名的结果列表。
诸如 SPLADE 之类的学习稀疏方法表示具有学习权重的术语，同时保留稀疏检索结构。
混合搜索的未来
检索系统可以向词汇/向量候选添加重新排序或学习的稀疏模型，但选择应基于特定于任务的评估。与下游答案正确性、延迟和成本分开跟踪检索召回和排名指标。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是混合搜索？
混合检索结合了词汇和基于向量的搜索结果来进行查询。 BM25、密集检索器和学习稀疏方法产生不同的候选排名；排名融合可以组合这些结果，而无需假设它们的原始分数共享一个尺度。
混合搜索通常结合哪两种检索方法？
混合搜索将 BM25 等稀疏词汇检索器与基于密集嵌入的向量检索器合并，以捕获准确的术语和含义。
为什么通常使用倒数排名融合 (RRF) 来合并结果？
稀疏和密集分数处于不同的尺度，因此 RRF 使用 1/(k+rank) 按排名位置进行融合，使其稳定，无需仔细进行分数归一化。
哪种情况最有利于混合搜索的稀疏（关键字）组件？
稀疏检索擅长精确标记匹配，例如语义模型可能会掩盖的 SKU、代码和专有名称。
单独使用密集向量搜索的主要弱点是什么？
密集搜索可以很好地捕捉含义，但可能会忽略精确的、罕见的字面术语，而这正是稀疏组件所补偿的地方。
像 SPLADE 这样的学习稀疏模型有什么作用？
SPLADE 使用神经网络来分配加权、扩展的术语重要性，连接传统的稀疏检索和密集语义方法。