概述
当其字符片段可用时，子词表示允许为训练词汇中不存在的标记组成向量。
深入探讨
博雅诺夫斯基等人。描述 Skip-Gram 模型，其中单词表示为其字符 n-gram 的向量之和，包括整个单词。 N-gram 被散列到存储桶表中。共享子词参数允许模型根据可用的字符片段，为未作为整体标记观察的单词构建表示。该论文评估了命名任务和语言的方法；其结果并不意味着每个未知单词都有可靠的含义。官方的 fastText 存储库还记录了一个监督分类器，这是与论文的词向量模型不同的一个特征。
现实世界的实施
论文概念：使用单词的字符 n-gram 加上整个单词来表示单词。
论文概念：将 n-gram 散列到固定的存储桶表中，并对它们学习到的向量求和。
论文评估：子词信息有助于作者报告的稀有词和词法敏感任务。
官方 fastText 项目：提供单独的词向量和监督文本分类功能。
FastText 子词嵌入的未来
在评估子词表示时，测试目标域中的稀有词和形态复杂的词，并测量错误和覆盖率。将 FastText、BPE 和 WordPiece 视为不同的方法，拥有自己的论文和实现；避免从子字单元的共享使用中推断出沿袭或当前的部署流行程度。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是 FastText 子词嵌入？
FastText 使用字符 n 元语法特征扩展了 Skip-Gram 单词表示形式。当其字符片段可用时，子词表示允许为训练词汇中不存在的标记组成向量。
FastText 如何表示单个单词？
FastText 将每个单词分解为字符 n 元语法，并对它们的向量求和以形成单词的表示形式。
FastText 克服了 Word2Vec 和 GloVe 的哪些主要限制？
由于 FastText 由子词片段组成向量，因此它可以为训练中从未见过的词构建表示。
对于具有 3 个字符的 n 元语法的单词“where”，哪个是有效的 n 元语法（带有边界标记）？
“where” 产生像 <wh、whe、her、ere、re> 这样的三元组，加上完整的词标记； “何”就是其中之一。
FastText 的嵌入模型建立在哪个基本训练目标之上？
FastText 通过负采样目标扩展了 Skip-Gram，添加了子词 n-gram 向量。
为什么 FastText 对于芬兰语或土耳其语等语言特别有用？
形态丰富的语言产生了许多词形；共享子词向量可以让 FastText 自然地将它们关联起来。