引導式測驗 · 中等 等級
Electra 訓練前測驗
解釋替換令牌偵測、生成器和鑑別器角色、跨令牌位置學習以及計算比較的限制。
問題 1 的 8
ELECTRA 使用什麼預訓練任務來取代屏蔽語言建模?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- ELECTRA 使用什麼預訓練任務來取代屏蔽語言建模?
- 替換令牌偵測
- 下一句話預測
- 自迴歸下一個單字預測
- 排列語言建模
- 為什麼 ELECTRA 的計算效率比 BERT 更高?
- 它使用的詞彙量要少得多
- 它計算所有令牌的學習訊號,而不僅僅是屏蔽的令牌
- 它僅對隱藏的 15% 代幣進行訓練
- 它完全跳過了注意力機制
- 小型發電機網路在 ELECTRA 中發揮什麼作用?
- 它按品質對最終輸出進行排名
- 訓練後壓縮模型
- 它產生合理的替換標記供鑑別器進行判斷
- 它可以在語言之間翻譯文本
- 預訓練完成後生成器會發生什麼事?
- 它針對下游任務進行了微調
- 它與判別器合併
- 它成為生成的解碼器
- 它被丟棄;僅使用鑑別器
- ELECTRA 主要由哪些組織的研究人員開發?
- Google 與史丹佛大學
- Meta AI 與紐約大學
- OpenAI 和 Microsoft
- DeepMind 和牛津大學
- 哪個後來的模型擴展了 ELECTRA 的替換令牌偵測思想?
- GPT-2
- 德伯特-v3
- T5
- 詞向量
- 如果 ELECTRA 的生成器在某個位置提出原始 token,會發生什麼?
- 它總是被標記為已替換,因為生成器提出了該 token
- 輸入中已移除該位置
- 該標記被辨識器的替換標籤視為原始標記
- 整個序列被丟棄
- 在比較 ELECTRA 與其他預訓練方法時,什麼使得計算主張有意義?
- 僅比較模型名稱
- 假設每次 ELECTRA 執行都使用相同的計算比例
- 忽略生成器訓練成本
- 指定模型大小、資料、訓練預算與評估設定