交叉编码器与双编码器
神经模型比较文本的两种方式：双编码器分别嵌入每个片段以进行快速搜索，而交叉编码器将两个文本一起读取以提高准确性。
概述
The choice shapes the speed-versus-precision tradeoff in every modern search and retrieval system.
深入探讨
两种架构都回答“两个文本的相关性如何？”，但它们在文本相遇的时间上有所不同。双编码器通过变压器独立运行每个句子，为每个文本生成一个固定向量；相似性是向量之间的廉价点积或余弦。由于向量可以提前计算和存储，因此双编码器可以扩展到数百万个文档和强大的向量数据库。相反，交叉编码器连接两个文本（[CLS] 查询 [SEP] 文档）并将它们一起通过模型提供，让每个标记在输出单个相关性分数之前关注每个其他标记。这种充分的注意力捕获了双编码器错过的细粒度交互，因此交叉编码器明显更准确，但无法预先计算任何内容，并且必须每对运行一次。
技术洞察
核心区别在于注意力范围。在双编码器中，自注意力永远不会在两个输入之间交叉，因此文档嵌入与查询无关并且可重用。在交叉编码器中，注意力跨越连接序列，使得分数依赖于查询。成本相应地缩放：对 N 个文档进行排序需要交叉编码器的 N 个完整的变换器传递，而双编码器在一次查询编码后需要 N 个廉价的向量比较。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
交叉编码器与双编码器的未来
主要模式是混合检索然后重新排序：双编码器从数百万个候选者中获取几百个候选者，然后交叉编码器对顶部结果重新排序。像 ColBERT 这样的后期交互模型通过存储每个标记向量来分割差异，并且蒸馏越来越多地训练紧凑的双编码器来模仿交叉编码器的判断。预计重新排序器会更便宜，并且两个阶段会更紧密地集成到检索增强生成管道中。
现实世界的实施
矢量数据库使用双编码器嵌入在几毫秒内从数百万个文档中检索前 200 个候选段落
跨编码器重新排序器会在将这 200 个候选者输入 RAG 聊天机器人之前对其进行重新排序，从而大幅提高答案相关性
Sentence-Transformers 提供预训练的双编码器（用于语义搜索）和交叉编码器（用于重新排序和 STS 评分）
问答论坛上的重复问题检测使用交叉编码器在候选列表上进行高精度成对匹配
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Encoders vs Bi-Encoders quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Cross-Encoders vs Bi-Encoders?
神经模型比较文本的两种方式：双编码器分别嵌入每个片段以进行快速搜索，而交叉编码器将两个文本一起读取以提高准确性。这种选择决定了每个现代搜索和检索系统中速度与精度的权衡。
交叉编码器和双编码器之间的定义架构差异是什么？
交叉编码器连接两个输入，让注意力跨越整个序列；双编码器将每个文本单独编码为单独的向量。
为什么双编码器可以有效地扩展到数百万个文档？
由于每个文档都是独立编码的，因此其向量可以在所有查询中重复使用，并且可以提前建立索引。
在典型的生产搜索管道中，这两种架构如何组合？
标准检索然后重新排序模式使用快速双编码器进行广泛召回，并使用精确的交叉编码器对候选列表进行重新排序。
为什么交叉编码器不能预先计算文档表示？
由于分数是根据连接的查询-文档序列生成的，因此它依赖于查询，并且必须为每一对重新计算。
双编码器通常为单个输入文本输出什么？
双编码器将每个文本映射到一个嵌入向量；然后计算向量之间的相似性。