ガイド連動クイズ · 中 レベル

マスクされた言語モデリングのクイズ

マスクされた言語モデリング、BERT のトークン選択スキーム、および双方向事前トレーニングのその後の代替手段を理解します。

関連するガイドパスマスクされた言語モデリング
質問 1 の 8

マスクされた言語モデリングにおける中心的なトレーニング タスクは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. マスクされた言語モデリングにおける中心的なトレーニング タスクは何ですか?
    • 周囲のコンテキストから意図的に隠された単語を予測する
    • 文の後の次の単語を予測する
    • 2 つの言語間でテキストを翻訳する
    • 文法的な正しさによる文章のランク付け
  2. BERT は通常、事前トレーニング中にトークンのおよそ何パーセントをマスクしますか?
    • 約50%
    • 約15％
    • 約1%
    • 約90%
  3. MLM がモデルに双方向の理解を与えるのはなぜですか?
    • 文章を逆から読んでくれる
    • 2 つの別々のモデルを使用します
    • 各トークンは左と右の両方の単語に対応します
    • 前の単語だけを参照します
  4. BERT のマスキング スキームでは、選択された位置の約 10% が [MASK] にならずにどうなりますか?
    • 完全に削除されます
    • 重複しています
    • 大文字で表記されます
    • ランダムな単語に置き換えられます
  5. MLM 損失はどのポジションで計算されますか?
    • マスクされた位置のみ
    • 文内のすべてのトークン
    • 最初と最後のトークンのみ
    • 句読点トークンのみ
  6. 次のトークンの予測と比較して、MLM は何を犠牲にするのでしょうか?
    • コンテキストを使用する機能
    • 左から右への流暢なテキストを生成する機能
    • 語彙へのアクセス
    • 注意力の使い方
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction