概述
它们的几何形状可以支持有用的比较，但邻近性不会自动为每个任务建立事实等价性或相关性。
深入探讨
嵌入将项目映射到模型或下游任务使用的数字表示。例如，学习的词向量可以从语言数据中捕获模式，而无需在每个坐标中存储字典定义。最初的 Word2Vec 工作研究有效的单词表示架构并评估语义和句法类比问题。这些发现解释了为什么向量运算可以在特定的训练空间中恢复有用的关系；它们并不能保证每个类比都会成功，或者每个关系都被一致地编码。比较向量还需要指定度量。余弦相似度将点积除以两个向量范数，描述非零向量的方向而不是原始幅度。当存储的向量具有不同的范数时，仅内积就可以产生不同的排名。将查询向量和存储向量归一化为单位长度后，内积等于余弦相似度。它们的欧几里德距离平方就是二减两倍点积。例如，点积为 0.8 的单位向量的平方距离为 0.4，而它们的欧几里德距离为 0.4 的平方根。搜索大型集合可以使用近似最近邻索引，例如 HNSW。其邻近图层次结构支持在测试配置下进行高效搜索，召回、内存和延迟取决于实际数据和设置。近似涉及在所选度量下恢复邻居，而不是这些邻居是否是有用的答案。学习到的表征也可以反映不需要的关联：Bolukbasi 和同事研究了特定词嵌入中的性别刻板印象。该结果激发了检查表示和应用，而不是假设数字特征是中性的。
现实世界的实施
比较指定训练词汇中的单词表示。
计算两个非零向量的余弦相似度。
根据精确搜索基线测量近似向量搜索召回率。
审核基于嵌入的排名是否反映了不需要的学习关联。
嵌入的未来
嵌入实验可以在定义的评估条件下比较目标、领域、维度和索引设置。一项有用的研究应该区分表示质量的变化和搜索近似值的变化。它还可以检查影响不同群体或语言种类的关联，而不是仅依赖于总体检索分数。更换编码器时，一起评估新的查询和文档表示，并根据所选设置的需要重建依赖索引。此类检查有助于评估所提出的系统，而无需将几何接近度视为意义或正确性的完整衡量标准。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录嵌入在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
什么是嵌入？
嵌入表示具有数值向量的项目，其关系取决于表示和训练目标。它们的几何形状可以支持有用的比较，但邻近性不会自动为每个任务建立事实等价性或相关性。
这里使用的数字表示意义上的嵌入是什么？
该表示可以对学习到的特征进行编码；它不需要保留意义的各个方面。
经过训练的语义嵌入空间中的紧密度可以表明什么？
解释与经过训练的表示和评估任务相关。
哪个指标通常用于比较两个嵌入？
余弦相似度衡量向量之间的角度；值越高意味着项目指向更相似的方向。
像 HNSW 这样的近似嵌入索引会带来什么权衡？
召回和资源权衡取决于配置和数据；不保证出现微小的错误。
经典的“国王 - 男人 + 女人 ≈ 女王”示例展示了关于嵌入的什么？
它显示了嵌入以几何方式编码关系，因此类比有时可以表示为向量加法和减法。