引导式测验 · 中等 等级

掩码语言建模测验

了解掩码语言建模、BERT 的标记选择方案以及后来的双向预训练替代方案。

相关引导路径掩码语言建模
问题 1 的 8

掩码语言建模的核心训练任务是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 掩码语言建模的核心训练任务是什么？
    • 从周围的上下文中预测故意隐藏的单词
    • 预测句子后的下一个单词
    • 在两种语言之间翻译文本
    • 按语法正确性对句子进行排名
  2. BERT 在预训练期间通常会屏蔽大约百分之多少的标记？
    • 约50%
    • 约15%
    • 约1%
    • 约90%
  3. 为什么MLM给予模型双向理解？
    • 它向后读句子
    • 它使用两个独立的模型
    • 每个标记都关注其左侧和右侧的单词
    • 它只查看前一个单词
  4. 在 BERT 的掩码方案中，大约 10% 的选定位置会发生什么而不是变成 [MASK]？
    • 它们被完全删除
    • 它们是重复的
    • 它们都是大写的
    • 它们被替换为随机单词
  5. 传销损失是在哪些头寸上计算的？
    • 仅屏蔽位置
    • 句子中的每个标记
    • 仅第一个和最后一个标记
    • 仅标点符号
  6. 与下一个代币预测相比，MLM 牺牲了什么？
    • 使用上下文的能力
    • 能够从左到右生成流畅的文本
    • 访问词汇表
    • 使用注意
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction