概述
该目标在每个位置提供学习信号，但效率和下游质量取决于模型大小、数据和计算。
深入探讨
屏蔽语言模型在选定的屏蔽位置上进行训练，而 ELECTRA 使用合理的生成器样本来破坏输入标记，并训练鉴别器将每个位置分类为原始位置或替换位置。生成器通常在预训练后被丢弃；鉴别器针对下游任务进行了微调。该目标定义了对所有输入位置的监督，这可以提高测试比较下的样本效率。该论文报告了指定模型大小、数据和计算预算的结果，包括小型模型的强大性能和大规模的竞争结果。这些是实验结果，不能保证每个 ELECTRA 模型都匹配或击败 BERT 或使用固定的计算比例。生成器成本、鉴别器大小、训练方法和下游基准都很重要。
现实世界的实施
在需要紧凑、准确的编码器的情况下支持快速文本分类和情感分析
作为搜索相关性和文档排名系统的支柱
针对计算有限的设备上或低延迟 NLP 任务微调 ELECTRA-Small
充当命名实体识别和问答基准（如 SQuAD 和 GLUE）的强大基线编码器
ELECTRA 预训练的未来
ELECTRA 的替换令牌检测思想影响了后来的高效编码器，例如 DeBERTa-v3，它将其与对最先进结果的解开注意力相结合。由于组织更加关心训练成本和碳足迹，从每个令牌中挤压信号的有区别的预训练目标对于构建强大、紧凑的编码器仍然具有吸引力。预计该方法将继续为小型、快速的模型提供信息，用于设备上的搜索、分类和检索，而大型生成模型则显得有些过头了。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是 ELECTRA 预训练？
ELECTRA 通过替换令牌检测来预训练编码器：生成器提出替换，鉴别器预测哪些输入令牌被替换。该目标在每个位置提供学习信号，但效率和下游质量取决于模型大小、数据和计算。
ELECTRA 使用什么预训练任务来代替屏蔽语言建模？
ELECTRA 训练模型来检测哪些标记已被生成器替换，而不是预测屏蔽词。
为什么 ELECTRA 的计算效率比 BERT 更高？
鉴别器将每个标记分类为真实标记或替换标记，因此模型从 100% 的位置而不是仅从屏蔽子集学习。
小型发电机网络在 ELECTRA 中发挥什么作用？
生成器进行掩码语言建模并提供真实的假标记，为鉴别器创建任务。
预训练完成后生成器会发生什么？
仅保留判别器并针对下游任务进行微调；发电机被扔掉。
ELECTRA 主要由哪些组织的研究人员开发？
ELECTRA 由 Google 和斯坦福大学的研究人员于 2020 年推出。