引导式测验 · 中等 等级

RoBERTa 培训食谱测验

查看 RoBERTa 的屏蔽、预训练目标、数据规模、分词器、多语言变体以及有关受控模型比较的课程。

相关引导路径罗伯塔训练食谱
问题 1 的 8

RoBERTa 对原始 BERT 的主要见解是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. RoBERTa 对原始 BERT 的主要见解是什么？
    • BERT 的架构存在根本缺陷
    • BERT 使用了太多参数
    • BERT 训练明显不足
    • BERT 需要添加解码器
  2. RoBERTa 删除了哪个 BERT 目标？
    • 下一句话预测
    • 掩码语言建模
    • 代币分类
    • 替换令牌检测
  3. RoBERTa 中的动态掩蔽是什么？
    • 仅屏蔽语料库中最稀有的单词
    • 一次屏蔽整个句子
    • 切勿在语料库中两次屏蔽相同的标记
    • 每次看到序列时生成新的掩码模式
  4. RoBERTa 的训练数据与 BERT 的相比如何？
    • 它使用了相同的 16GB 文本
    • 它使用了大约 160GB，大约是原来的 10 倍
    • 它使用更少的数据但更干净的标签
    • 它仅使用维基百科
  5. 哪个组织发布了 RoBERTa？
    • Facebook 人工智能 (Meta)
    • Google 人工智能
    • OpenAI
    • Microsoft 研究
  6. RoBERTa 的多语言版本叫什么？
    • mBERT
    • 罗伯特塔-XL
    • XLM-R (XLM-罗伯塔)
    • 聚罗伯塔
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models