XLNet 排列建模
XLNet 通过随机词序训练，将 BERT 的双向上下文与 GPT 的自回归预测融合在一起。
概述
This permutation trick lets it learn from all positions without ever masking tokens.
深入探讨
XLNet 由卡内基梅隆大学和 Google Brain 于 2019 年推出，旨在修复 BERT 式预训练中的缺陷。 BERT 屏蔽标记并预测它们，但人工 [MASK] 符号在微调时永远不会出现，从而造成训练/测试不匹配，并且 BERT 假设屏蔽标记是独立的。相反，XLNet 使用“排列语言建模”：它最大化序列中单词的所有可能排序的预期对数似然。通过在给定其他标记的随机子集的情况下预测每个标记，该模型可以有效地看到双向上下文，同时保持适当的自回归模型，无需屏蔽。 XLNet 建立在用于远程记忆的 Transformer-XL 主干之上，在大约 20 项任务上的表现优于 BERT，包括问答、情感分析和文档排名。
技术洞察
XLNet 不会物理地打乱单词；它通过注意掩码排列分解顺序，因此位置信息被保留。为了实现这项工作，它使用“双流自注意力”：一个对令牌及其上下文进行编码的内容流，以及一个知道目标位置但不知道其内容的查询流，从而能够在不泄露答案的情况下进行预测。 Transformer-XL 的循环和相对位置编码使其能够跨长段进行记忆，从而改善对长文档的处理。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
XLNet 排列建模的未来
XLNet 是一个有影响力的证明，证明自回归目标可以捕获双向上下文，模糊了 BERT 与 GPT 的分歧。虽然该领域主要围绕屏蔽编码器或大型自回归解码器进行巩固，但 XLNet 的排列思想和 Transformer-XL 递归为后来的长上下文建模和统一预训练目标的工作提供了信息。当研究人员寻求将强大的上下文建模与高效、无掩模生成相结合的架构时，它的见解仍然具有相关性。
现实世界的实施
在 SQuAD 等问答基准测试中取得最高成绩
通过 Transformer-XL 内存处理长文档任务，例如 RACE 阅读理解测试
为文档排名和信息检索系统提供支持
在 BERT 基线上改进情感分类和文本分类
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the XLNet Permutation Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is XLNet Permutation Modeling?
XLNet 通过随机词序训练，将 BERT 的双向上下文与 GPT 的自回归预测融合在一起。这种排列技巧让它可以从所有位置学习，而无需屏蔽标记。
XLNet 使用什么预训练目标？
XLNet 最大化令牌分解顺序的所有排列的预期对数似然，称为排列语言建模。
XLNet 是专门为了解决哪些 BERT 弱点而设计的？
BERT 的人工 [MASK] 符号在微调期间不会出现，并且它将屏蔽预测视为独立的； XLNet 避免了这两个问题。
XLNet的两流self-attention分离了什么？
内容流对令牌和上下文进行编码，而查询流知道目标的位置但不知道其内容，从而实现无泄漏的预测。
XLNet 是否会物理地打乱句子中的单词？
XLNet 通过注意力掩码排列预测（分解）顺序；原始标记位置通过位置编码保留。
哪种架构作为 XLNet 的远程上下文骨干网？
XLNet 建立在 Transformer-XL 的基础上，它添加了分段循环和相对位置编码来处理长序列。