引導式測驗 · 中等 等級

Electra 訓練前測驗

解釋替換令牌偵測、生成器和鑑別器角色、跨令牌位置學習以及計算比較的限制。

相關引導路徑厄勒克特拉預訓練
問題 1 的 8

ELECTRA 使用什麼預訓練任務來取代屏蔽語言建模?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. ELECTRA 使用什麼預訓練任務來取代屏蔽語言建模?
    • 替換令牌偵測
    • 下一句話預測
    • 自迴歸下一個單字預測
    • 排列語言建模
  2. 為什麼 ELECTRA 的計算效率比 BERT 更高?
    • 它使用的詞彙量要少得多
    • 它計算所有令牌的學習訊號,而不僅僅是屏蔽的令牌
    • 它僅對隱藏的 15% 代幣進行訓練
    • 它完全跳過了注意力機制
  3. 小型發電機網路在 ELECTRA 中發揮什麼作用?
    • 它按品質對最終輸出進行排名
    • 訓練後壓縮模型
    • 它產生合理的替換標記供鑑別器進行判斷
    • 它可以在語言之間翻譯文本
  4. 預訓練完成後生成器會發生什麼事?
    • 它針對下游任務進行了微調
    • 它與判別器合併
    • 它成為生成的解碼器
    • 它被丟棄;僅使用鑑別器
  5. ELECTRA 主要由哪些組織的研究人員開發?
    • Google 與史丹佛大學
    • Meta AI 與紐約大學
    • OpenAI 和 Microsoft
    • DeepMind 和牛津大學
  6. 哪個後來的模型擴展了 ELECTRA 的替換令牌偵測思想?
    • GPT-2
    • 德伯特-v3
    • T5
    • 詞向量
  7. 如果 ELECTRA 的生成器在某個位置提出原始 token,會發生什麼?
    • 它總是被標記為已替換,因為生成器提出了該 token
    • 輸入中已移除該位置
    • 該標記被辨識器的替換標籤視為原始標記
    • 整個序列被丟棄
  8. 在比較 ELECTRA 與其他預訓練方法時,什麼使得計算主張有意義?
    • 僅比較模型名稱
    • 假設每次 ELECTRA 執行都使用相同的計算比例
    • 忽略生成器訓練成本
    • 指定模型大小、資料、訓練預算與評估設定