Gids-gekoppelde quiz · Middelmatig Niveau

ELECTRA Vooropleidingsquiz

Hierin wordt de detectie van vervangen tokens, de generator- en discriminatorrollen, het leren over tokenposities en de grenzen van computervergelijkingen uitgelegd.

Gerelateerde gidspadenElectra vooropleiding
Vraag 1 van 8

Welke voortrainingstaak gebruikt ELECTRA in plaats van gemaskerde taalmodellering?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke voortrainingstaak gebruikt ELECTRA in plaats van gemaskerde taalmodellering?
    • Tokendetectie vervangen
    • Voorspelling van de volgende zin
    • Autoregressieve voorspelling van het volgende woord
    • Permutatie taalmodellering
  2. Waarom is ELECTRA rekenefficiënter dan BERT?
    • Er wordt gebruik gemaakt van een veel kleinere woordenschat
    • Het berekent een leersignaal over alle tokens, niet alleen over de gemaskeerde tokens
    • Het traint alleen op de gemaskeerde 15% van de tokens
    • Het slaat het aandachtsmechanisme volledig over
  3. Welke rol speelt het kleine generatornetwerk in ELECTRA?
    • Het rangschikt de uiteindelijke resultaten op kwaliteit
    • Het comprimeert het model na de training
    • Het produceert plausibele vervangingsfiches die de discriminator kan beoordelen
    • Het vertaalt tekst tussen talen
  4. Wat gebeurt er met de generator nadat de voortraining is voltooid?
    • Het is afgestemd op de stroomafwaartse taak
    • Het wordt samengevoegd met de discriminator
    • Het wordt de decoder voor generatie
    • Het wordt weggegooid; alleen de discriminator wordt gebruikt
  5. ELECTRA is vooral ontwikkeld door onderzoekers van welke organisaties?
    • Google en Stanford
    • Meta AI en NYU
    • OpenAI en Microsoft
    • DeepMind en Oxford
  6. Welk latere model breidde ELECTRA's vervangende token-detectie-idee uit?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Woord2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting