引導式測驗 · 中等 等級
RoBERTa 培訓食譜測驗
查看 RoBERTa 的屏蔽、預訓練目標、資料規模、分詞器、多語言變體以及有關受控模型比較的課程。
問題 1 的 8
RoBERTa 對原始 BERT 的主要見解是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- RoBERTa 對原始 BERT 的主要見解是什麼?
- BERT 的架構存在根本缺陷
- BERT 使用了太多參數
- BERT 訓練明顯不足
- BERT 需要添加解碼器
- RoBERTa 刪除了哪個 BERT 目標?
- 下一句話預測
- 掩碼語言建模
- 代幣分類
- 替換令牌偵測
- RoBERTa 中的動態掩蔽是什麼?
- 僅屏蔽語料庫中最稀有的單字
- 一次屏蔽整個句子
- 切勿在語料庫中兩次屏蔽相同的標記
- 每次看到序列時產生新的遮罩模式
- RoBERTa 的訓練資料與 BERT 的訓練資料相比如何?
- 它使用了相同的 16GB 文本
- 它使用了大約 160GB,大約是原來的 10 倍
- 它使用更少的數據但更乾淨的標籤
- 它僅使用維基百科
- 哪個組織發布了 RoBERTa?
- Facebook 人工智慧 (Meta)
- Google 人工智慧
- OpenAI
- Microsoft 研究
- RoBERTa 的多國語言版本叫什麼?
- mBERT
- 羅伯特塔-XL
- XLM-R (XLM-羅伯塔)
- 聚羅伯塔
- Which text encoding did the RoBERTa recipe use according to the guide?
- A fixed vocabulary of complete words only
- Byte-level byte-pair encoding
- One image patch per token
- A phoneme-only vocabulary
- A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
- Architecture changes always explain every improvement
- Training duration can be ignored if the benchmark is the same
- Data volume cannot affect an encoder
- Training choices can account for gains, so they must be considered when comparing models