伊莱克特拉预训练
ELECTRA 是一种更有效的预训练语言模型的方法，它教它们识别假单词而不是猜测隐藏的单词。
概述
It matches BERT's quality using a fraction of the compute.
深入探讨
ELECTRA（高效学习准确分类令牌替换的编码器）由 Google 和斯坦福大学于 2020 年推出，用“替换令牌检测”取代了 BERT 的屏蔽语言建模任务。一个小型生成器网络将句子中的一些单词替换为看似合理的替代词，并且主模型（鉴别器）学习决定对于每个单个标记，它是原始的还是替换的。由于该模型对所有标记进行训练，而不仅仅是 BERT 屏蔽的约 15%，因此它的学习速度要快得多。据报道，ELECTRA-Small 的性能优于同等大小的 GPT，其训练计算量增加了 30 倍，而 ELECTRA-Large 在 GLUE 基准测试上可与 RoBERTa 和 XLNet 相媲美，同时使用的计算量大约只有四分之一。
技术洞察
两个变压器联合训练。生成器进行屏蔽语言建模并提出替换标记；鉴别器对每个位置执行二元分类（真实与替换）。至关重要的是，损失是针对所有令牌计算的，而不仅仅是屏蔽的令牌，从而给出更密集的学习信号。在两个共享令牌嵌入中，生成器保持较小（通常是鉴别器大小的四分之一到一半），并且在预训练后，生成器被丢弃 - 只有鉴别器在下游进行微调。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
ELECTRA 预训练的未来
ELECTRA 的替换令牌检测思想影响了后来的高效编码器，例如 DeBERTa-v3，它将其与对最先进结果的解开注意力相结合。由于组织更加关心训练成本和碳足迹，从每个令牌中挤压信号的有区别的预训练目标对于构建强大、紧凑的编码器仍然具有吸引力。预计该方法将继续为小型、快速的模型提供信息，用于设备上的搜索、分类和检索，而大型生成模型则显得有些过头了。
现实世界的实施
在需要紧凑、准确的编码器的情况下支持快速文本分类和情感分析
作为搜索相关性和文档排名系统的支柱
针对计算有限的设备上或低延迟 NLP 任务微调 ELECTRA-Small
充当命名实体识别和问答基准（如 SQuAD 和 GLUE）的强大基线编码器
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELECTRA Pretraining quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is ELECTRA Pretraining?
ELECTRA 是一种更有效的预训练语言模型的方法，它教它们识别假单词而不是猜测隐藏的单词。它使用一小部分计算来匹配 BERT 的质量。
ELECTRA 使用什么预训练任务来代替屏蔽语言建模？
ELECTRA 训练模型来检测哪些标记已被生成器替换，而不是预测屏蔽词。
为什么 ELECTRA 的计算效率比 BERT 更高？
鉴别器将每个标记分类为真实标记或替换标记，因此模型从 100% 的位置而不是仅从屏蔽子集学习。
小型发电机网络在 ELECTRA 中发挥什么作用？
生成器进行掩码语言建模并提供真实的假标记，为鉴别器创建任务。
预训练完成后生成器会发生什么？
仅保留判别器并针对下游任务进行微调；发电机被扔掉。
ELECTRA 主要由哪些组织的研究人员开发？
ELECTRA 由 Google 和斯坦福大学的研究人员于 2020 年推出。