引導式測驗 · 中等 等級

RoBERTa 培訓食譜測驗

查看 RoBERTa 的屏蔽、預訓練目標、資料規模、分詞器、多語言變體以及有關受控模型比較的課程。

相關引導路徑羅伯塔訓練食譜
問題 1 的 8

RoBERTa 對原始 BERT 的主要見解是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. RoBERTa 對原始 BERT 的主要見解是什麼?
    • BERT 的架構存在根本缺陷
    • BERT 使用了太多參數
    • BERT 訓練明顯不足
    • BERT 需要添加解碼器
  2. RoBERTa 刪除了哪個 BERT 目標?
    • 下一句話預測
    • 掩碼語言建模
    • 代幣分類
    • 替換令牌偵測
  3. RoBERTa 中的動態掩蔽是什麼?
    • 僅屏蔽語料庫中最稀有的單字
    • 一次屏蔽整個句子
    • 切勿在語料庫中兩次屏蔽相同的標記
    • 每次看到序列時產生新的遮罩模式
  4. RoBERTa 的訓練資料與 BERT 的訓練資料相比如何?
    • 它使用了相同的 16GB 文本
    • 它使用了大約 160GB,大約是原來的 10 倍
    • 它使用更少的數據但更乾淨的標籤
    • 它僅使用維基百科
  5. 哪個組織發布了 RoBERTa?
    • Facebook 人工智慧 (Meta)
    • Google 人工智慧
    • OpenAI
    • Microsoft 研究
  6. RoBERTa 的多國語言版本叫什麼?
    • mBERT
    • 羅伯特塔-XL
    • XLM-R (XLM-羅伯塔)
    • 聚羅伯塔
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models