ガイド連動クイズ · 中 レベル

RoBERTaトレーニングレシピクイズ

RoBERTa のマスキング、事前トレーニングの目的、データ スケール、トークナイザー、多言語バリアント、および制御されたモデルの比較に関するレッスンを確認します。

関連するガイドパスロバータのトレーニングレシピ
質問 1 の 8

オリジナルの BERT に関する RoBERTa の主な洞察は何でしたか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. オリジナルの BERT に関する RoBERTa の主な洞察は何でしたか?
    • BERT のアーキテクチャには根本的な欠陥があった
    • BERT で使用したパラメーターが多すぎます
    • BERT は大幅にトレーニングが不足していました
    • BERT にはデコーダの追加が必要でした
  2. RoBERTa が削除した BERT 目標はどれですか?
    • 次の文の予測
    • マスクされた言語モデリング
    • トークンの分類
    • 置き換えられたトークンの検出
  3. RoBERTa のダイナミック マスキングとは何ですか?
    • コーパス内の最もまれな単語のみをマスクする
    • 文章全体を一度にマスキングする
    • コーパス内で同じトークンを 2 回マスクしない
    • シーケンスが表示されるたびに新しいマスク パターンを生成する
  4. RoBERTa のトレーニング データを BERT と比較してどうですか?
    • 同じ 16GB のテキストを使用しました
    • 約10倍の約160GBを使用しました
    • 使用するデータ量は減りましたが、ラベルはきれいになりました
    • ウィキペディアのみを使用しました
  5. RoBERTa をリリースした組織はどこですか?
    • Facebook AI (Meta)
    • Google AI
    • OpenAI
    • Microsoft 研究
  6. RoBERTa の多言語版は何と呼ばれますか?
    • メートルバート
    • ロベルタ-XL
    • XLM-R (XLM-ロベルタ)
    • ポリロベルタ
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models