引導式測驗 · 中等 等級
掩碼語言建模測驗
了解掩碼語言建模、BERT 的標記選擇方案以及後來的雙向預訓練替代方案。
問題 1 的 8
掩碼語言建模的核心訓練任務是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 掩碼語言建模的核心訓練任務是什麼?
- 從周圍的上下文中預測故意隱藏的單字
- 預測句子後的下一個單詞
- 在兩種語言之間翻譯文本
- 依文法正確性對句子進行排名
- BERT 在預訓練期間通常會屏蔽大約百分之多少的標記?
- 約50%
- 約15%
- 約1%
- 約90%
- 為什麼MLM給予模型雙向理解?
- 它向後讀句子
- 它使用兩個獨立的模型
- 每個標記都專注於其左側和右側的單詞
- 它只查看前一個單字
- 在 BERT 的遮罩方案中,大約 10% 的選定位置會發生什麼而不是變成 [MASK]?
- 它們被完全刪除
- 它們是重複的
- 它們都是大寫的
- 它們被替換為隨機單詞
- 傳銷損失是在哪些部位計算的?
- 僅屏蔽位置
- 句子中的每個標記
- 僅第一個和最後一個標記
- 僅標點符號
- 與下一個代幣預測相比,MLM 犧牲了什麼?
- 使用上下文的能力
- 能夠從左到右生成流暢的文本
- 訪問詞彙表
- 使用注意
- How does RoBERTa’s dynamic masking differ from BERT’s original setup?
- It masks only the first token of every sentence
- It predicts future tokens with a causal decoder
- The masked positions can be regenerated across training passes instead of remaining fixed
- It replaces all masked tokens with random numbers
- What auxiliary objective did the original BERT pretraining recipe combine with MLM?
- Image patch reconstruction
- Audio speaker diarization
- A reward model for code generation
- Next-sentence prediction