Mit dem Guide verknüpftes Quiz · Mittel Ebene

ELECTRA Pretraining-Quiz

Erklärt die Erkennung ersetzter Token, die Rollen von Generatoren und Diskriminatoren, das Lernen über Tokenpositionen hinweg und die Grenzen von Rechenvergleichen.

Verwandte FührungspfadeElectra-Vorschulung
Frage 1 von 8

Welche Pretraining-Aufgabe verwendet ELECTRA anstelle der maskierten Sprachmodellierung?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welche Pretraining-Aufgabe verwendet ELECTRA anstelle der maskierten Sprachmodellierung?
    • Ersetzte Token-Erkennung
    • Vorhersage des nächsten Satzes
    • Autoregressive Vorhersage des nächsten Wortes
    • Modellierung der Permutationssprache
  2. Warum ist ELECTRA recheneffizienter als BERT?
    • Es verwendet einen viel kleineren Wortschatz
    • Es berechnet ein Lernsignal für alle Token, nicht nur für maskierte
    • Es trainiert nur auf den maskierten 15 % der Token
    • Der Aufmerksamkeitsmechanismus wird vollständig übersprungen
  3. Welche Rolle spielt das Kleingeneratorennetz bei ELECTRA?
    • Es ordnet die Endergebnisse nach Qualität
    • Es komprimiert das Modell nach dem Training
    • Es erzeugt plausible Ersatztokens, die der Diskriminator beurteilen kann
    • Es übersetzt Texte zwischen Sprachen
  4. Was passiert mit dem Generator, nachdem das Vortraining abgeschlossen ist?
    • Es ist genau auf die nachgelagerte Aufgabe abgestimmt
    • Es wird mit dem Diskriminator verschmolzen
    • Es wird zum Decoder für die Generierung
    • Es wird verworfen; Es wird nur der Diskriminator verwendet
  5. ELECTRA wurde hauptsächlich von Forschern welcher Organisationen entwickelt?
    • Google und Stanford
    • Meta AI und NYU
    • OpenAI und Microsoft
    • DeepMind und Oxford
  6. Welches spätere Modell erweiterte ELECTRAs Idee der Erkennung ersetzter Token?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting