引導式測驗 · 中等 等級

掩碼語言建模測驗

了解掩碼語言建模、BERT 的標記選擇方案以及後來的雙向預訓練替代方案。

相關引導路徑掩碼語言建模
問題 1 的 8

掩碼語言建模的核心訓練任務是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 掩碼語言建模的核心訓練任務是什麼?
    • 從周圍的上下文中預測故意隱藏的單字
    • 預測句子後的下一個單詞
    • 在兩種語言之間翻譯文本
    • 依文法正確性對句子進行排名
  2. BERT 在預訓練期間通常會屏蔽大約百分之多少的標記?
    • 約50%
    • 約15%
    • 約1%
    • 約90%
  3. 為什麼MLM給予模型雙向理解?
    • 它向後讀句子
    • 它使用兩個獨立的模型
    • 每個標記都專注於其左側和右側的單詞
    • 它只查看前一個單字
  4. 在 BERT 的遮罩方案中,大約 10% 的選定位置會發生什麼而不是變成 [MASK]?
    • 它們被完全刪除
    • 它們是重複的
    • 它們都是大寫的
    • 它們被替換為隨機單詞
  5. 傳銷損失是在哪些部位計算的?
    • 僅屏蔽位置
    • 句子中的每個標記
    • 僅第一個和最後一個標記
    • 僅標點符號
  6. 與下一個代幣預測相比,MLM 犧牲了什麼?
    • 使用上下文的能力
    • 能夠從左到右生成流暢的文本
    • 訪問詞彙表
    • 使用注意
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction