ガイド連動クイズ · 中 レベル

ELECTRA 事前トレーニング クイズ

置き換えられたトークンの検出、ジェネレーターとディスクリミネーターの役割、トークン位置間の学習、およびコンピューティング比較の制限について説明します。

関連するガイドパスエレクトラの事前トレーニング
質問 1 の 8

ELECTRA はマスクされた言語モデリングの代わりにどのような事前トレーニング タスクを使用しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. ELECTRA はマスクされた言語モデリングの代わりにどのような事前トレーニング タスクを使用しますか?
    • 置き換えられたトークンの検出
    • 次の文の予測
    • 自己回帰次単語予測
    • 順列言語モデリング
  2. ELECTRA が BERT よりも計算効率が高いのはなぜですか?
    • 使用する語彙ははるかに少ない
    • マスクされたトークンだけでなく、すべてのトークンに対して学習信号を計算します。
    • マスクされたトークンの 15% のみをトレーニングします
    • 注意メカニズムを完全にスキップします
  3. 小型発電機ネットワークはELECTRAでどのような役割を果たしますか?
    • 最終出力を品質によってランク付けします
    • トレーニング後にモデルを圧縮します
    • 弁別者が判断するための妥当な置換トークンを生成します。
    • 言語間でテキストを翻訳します
  4. 事前トレーニングが完了した後、ジェネレーターはどうなりますか?
    • 下流のタスクに合わせて微調整されています
    • ディスクリミネーターとマージされます
    • 世代用デコーダーとなります
    • それは破棄されます。識別子のみが使用されます
  5. ELECTRA は主にどの組織の研究者によって開発されましたか?
    • Google とスタンフォード
    • Meta AI とニューヨーク大学
    • OpenAI および Microsoft
    • ディープマインドとオックスフォード
  6. ELECTRA の置き換えられたトークン検出のアイデアを拡張した後のモデルはどれですか?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting