语言人工智能指南

语义搜索

语义搜索通过含义查找结果,而不仅仅是匹配关键字,因此像“如何修理漏水的水龙头”这样的查询可以显示标题为“修理滴水的水龙头”的页面。它为现代网站搜索、支持机器人以及许多人工智能助手背后的检索步骤提供支持。

阅读时间:2分钟最后更新

深入探讨

传统的关键字搜索会与您输入的确切单词相匹配,因此它会遗漏同义词、释义和意图。相反,语义搜索将您的查询和每个文档转换为称为嵌入的数字向量,其中具有相似含义的文本在高维空间中紧密结合在一起。为了回答查询,系统将其嵌入并通常通过余弦相似度找到最近的文档向量。这让“car”匹配“automobile”,并让模糊的问题检索到措辞精确的答案。由于将查询与数百万个向量进行逐一比较的速度很慢,因此实际系统使用近似最近邻索引(如 HNSW)在几毫秒内返回紧密匹配。许多生产系统都是混合的,将语义向量与经典关键词评分混合在一起,以获得两者的最佳效果。

技术洞察

核心操作是向量相似度。双编码器模型分别嵌入查询和文档,然后引擎根据与查询向量的余弦相似度对文档进行排名。在数百万个项目上精确执行此操作太慢,因此矢量数据库使用近似最近邻 (ANN) 算法,最常见的是 HNSW,这是一种可导航图,可以在大致对数时间内找到近似匹配项。常见的改进添加了一个较慢的交叉编码器重新排序器,该重新排序器联合读取查询和一些顶级候选者以锐化最终排序。

战略影响

速度与规模

语言工作流程可以在不牺牲一致性的情况下更快地移动。

交通与覆盖范围

它扩展了跨语言和沟通方式的访问。

更清晰的判决

团队可以花更多时间进行判断,而自动化则可以处理重复。

语义搜索的未来

语义搜索正在成为人工智能的默认检索层,特别是作为检索增强生成中的“R”,它将聊天机器人置于真实文档中。期望更紧密的混合系统能够融合关键字和向量分数,在一个空间中跨文本、图像和音频进行多模式搜索,以及捕获整个文档的较长上下文嵌入模型。更便宜、更快的人工神经网络索引和设备嵌入将把语义搜索推向手机和私人数据。主要前沿是削减成本、提高新鲜度以及对结果重新排名,以便最有用、最值得信赖的段落上升到顶部。

现实世界的实施

当购物者输入“徒步旅行保暖夹克”时,即使商品列表显示“隔热徒步外套”,电子商务网站也会返回相关产品

当用户用自己的话描述问题时,客户支持帮助中心会显示正确的文章

RAG 聊天机器人中的检索步骤,在语言模型写入答案之前提取相关公司文档

在大型代码库中搜索“调整图像大小的函数”,即使没有这些确切的单词也能找到正确的方法

风险与防护栏

幻觉的事实可以悄悄地进入报告、支持流程或研究成果。

及时的敏感性可能会在类似的请求中产生不一致的结果。

如果访问控制薄弱,敏感文本数据可能会暴露。

实施路线图

1

在推出之前定义输出格式、语气和质量标准。

2

当准确性很重要时,请使用可信来源进行地面响应。

3

为高风险输出保留人工审查检查点。

4

跟踪故障模式并定期重新训练提示或工作流程。

不断探索

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

开始测验

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

常见问题

What is Semantic Search?

语义搜索通过含义查找结果,而不仅仅是匹配关键字,因此像“如何修理漏水的水龙头”这样的查询可以显示标题为“修理滴水的水龙头”的页面。它为现代网站搜索、支持机器人以及许多人工智能助手背后的检索步骤提供支持。

语义搜索和传统关键词搜索的主要区别是什么?

语义搜索通过嵌入比较查询和文档的含义,因此它可以匹配精确关键字匹配会错过的同义词和释义。

语义搜索引擎通常如何衡量查询与文档的匹配程度?

查询和文档都转换为向量,引擎根据向量相似度(通常是余弦相似度)对文档进行排名,因此向量越接近意味着含义越相似。

为什么生产语义搜索系统使用 HNSW 等近似最近邻 (ANN) 索引?

将查询与每个向量进行精确比较在规模上太慢,因此像 HNSW 这样的 ANN 方法在大约对数时间内找到非常接近的匹配,用一点点的准确性换取巨大的速度增益。

跨编码器重排序器向语义搜索管道添加了什么?

交叉编码器一起读取查询和候选文档,产生更准确的相关性分数,因此它用于在快速检索后对一小组顶级结果进行重新排名。

什么是“混合”搜索系统?

混合搜索将基于向量的语义相关性与传统关键字匹配相结合,捕获含义和准确的术语精度,例如产品代码或名称。