检索重排序
检索重新排名是现代搜索的第二阶段：在快速检索器提取候选集后，更强大的模型会对这些候选集重新评分，以便真正相关的候选集上升到顶部。
概述
It is the quality boost behind better search and more accurate RAG systems.
深入探讨
搜索和检索增强生成通常分两个阶段运行。首先，快速检索器（基于关键字的 BM25 或密集向量搜索）会抓取广泛的候选池（例如前 100 个），从而优化召回率和速度。然后，重新排序器会更仔细地检查这些候选者，并根据相关性对它们重新排序，优化顶部的精度。经典的重新排序器是一个交叉编码器：它将查询和每个候选文档一起输入到转换器中，以便注意力可以逐字比较它们，产生单个相关性分数。这比检索器的独立嵌入准确得多，但速度太慢，无法运行整个语料库，因此采用了两阶段设计。在 RAG 中，良好的重新排名意味着模型可以看到最相关的段落，从而减少幻觉并提高答案质量。
技术洞察
关键区别是双编码器与交叉编码器。双编码器分别嵌入查询和文档，因此可以预先计算向量并与快速点积进行比较，这对于第一阶段检索非常有用。交叉编码器连接查询和文档，并通过变压器联合运行它们，让完整的交叉注意力判断相关性。交叉编码器准确得多，但无法预先计算文档向量，因此它们保留用于对小型候选集进行重新排名，而不是扫描所有内容。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
检索重排序的未来
重新排名是生产搜索和 RAG 的核心，并且该工具包正在快速扩展。托管的重新排序 API（例如 Cohere Rerank）和开放的交叉编码器模型使安装变得容易。较新的方向包括使用大型语言模型本身作为列表重排序器，一次性对整个候选集进行推理，后期交互模型（如 ColBERT）平衡速度和准确性，以及学习多个检索器的融合。随着上下文窗口的增长，预计重新排序与如何选择和排序生成段落之间的耦合会更加紧密。
现实世界的实施
RAG 聊天机器人通过向量搜索检索 50 个段落，然后交叉编码器对它们重新排序，以便输入到 LLM 的前 5 个段落是最相关的
电子商务网站搜索使用 BM25 进行召回，然后重新排序器根据查询相关性对产品重新排序，以提升转化率
调用托管的重新排名 API（例如 Cohere Rerank）来重新排序搜索命中，而无需训练自定义模型
使用 ColBERT 风格的后期交互以较低的延迟以接近跨编码器的准确性对候选者进行重新排名
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Retrieval Reranking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Retrieval Reranking?
检索重新排名是现代搜索的第二阶段：在快速检索器提取候选集后，更强大的模型会对这些候选集重新评分，以便真正相关的候选集上升到顶部。这是更好的搜索和更准确的 RAG 系统背后的质量提升。
重排序器在检索管道中的作用是什么？
重新排名是第二阶段：它仔细地重新排序快速检索器返回的候选者，优化顶部的精度。
交叉编码器与双编码器有什么区别？
交叉编码器连接查询和文档并联合运行它们，从而实现完全交叉注意力和更高的准确性。
为什么使用交叉编码器进行重新排序而不是第一阶段检索？
由于查询和每个文档必须一起处理，因此您无法预先计算文档向量，因此交叉编码器仅在小型候选集上运行。
第一阶段检索器通常优化什么？
寻回犬会撒出一张又宽又快的网，以最大限度地提高记忆力；然后，重新排序器会提高该池的精度。
良好的重新排名对 RAG 系统有何帮助？
向法学硕士提供最相关的段落可以提高答案的准确性并减少幻觉内容。