引导式测验 · 中等 等级

Electra 训练前测验

解释替换令牌检测、生成器和鉴别器角色、跨令牌位置学习以及计算比较的限制。

相关引导路径厄勒克特拉预训练
问题 1 的 8

ELECTRA 使用什么预训练任务来代替屏蔽语言建模？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. ELECTRA 使用什么预训练任务来代替屏蔽语言建模？
    • 替换令牌检测
    • 下一句话预测
    • 自回归下一个单词预测
    • 排列语言建模
  2. 为什么 ELECTRA 的计算效率比 BERT 更高？
    • 它使用的词汇量要少得多
    • 它计算所有令牌的学习信号，而不仅仅是屏蔽的令牌
    • 它仅对隐藏的 15% 代币进行训练
    • 它完全跳过了注意力机制
  3. 小型发电机网络在 ELECTRA 中发挥什么作用？
    • 它按质量对最终输出进行排名
    • 训练后压缩模型
    • 它产生合理的替换标记供鉴别器进行判断
    • 它可以在语言之间翻译文本
  4. 预训练完成后生成器会发生什么？
    • 它针对下游任务进行了微调
    • 它与判别器合并
    • 它成为生成的解码器
    • 它被丢弃；仅使用鉴别器
  5. ELECTRA 主要由哪些组织的研究人员开发？
    • Google 和斯坦福大学
    • Meta AI 和纽约大学
    • OpenAI 和 Microsoft
    • DeepMind 和牛津大学
  6. 哪个后来的模型扩展了 ELECTRA 的替换令牌检测思想？
    • GPT-2
    • 德伯特-v3
    • T5
    • 词向量
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting