Gids-gekoppelde quiz · Middelmatig Niveau
ELECTRA Vooropleidingsquiz
Hierin wordt de detectie van vervangen tokens, de generator- en discriminatorrollen, het leren over tokenposities en de grenzen van computervergelijkingen uitgelegd.
Vraag 1 van 8
Welke voortrainingstaak gebruikt ELECTRA in plaats van gemaskerde taalmodellering?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke voortrainingstaak gebruikt ELECTRA in plaats van gemaskerde taalmodellering?
- Tokendetectie vervangen
- Voorspelling van de volgende zin
- Autoregressieve voorspelling van het volgende woord
- Permutatie taalmodellering
- Waarom is ELECTRA rekenefficiënter dan BERT?
- Er wordt gebruik gemaakt van een veel kleinere woordenschat
- Het berekent een leersignaal over alle tokens, niet alleen over de gemaskeerde tokens
- Het traint alleen op de gemaskeerde 15% van de tokens
- Het slaat het aandachtsmechanisme volledig over
- Welke rol speelt het kleine generatornetwerk in ELECTRA?
- Het rangschikt de uiteindelijke resultaten op kwaliteit
- Het comprimeert het model na de training
- Het produceert plausibele vervangingsfiches die de discriminator kan beoordelen
- Het vertaalt tekst tussen talen
- Wat gebeurt er met de generator nadat de voortraining is voltooid?
- Het is afgestemd op de stroomafwaartse taak
- Het wordt samengevoegd met de discriminator
- Het wordt de decoder voor generatie
- Het wordt weggegooid; alleen de discriminator wordt gebruikt
- ELECTRA is vooral ontwikkeld door onderzoekers van welke organisaties?
- Google en Stanford
- Meta AI en NYU
- OpenAI en Microsoft
- DeepMind en Oxford
- Welk latere model breidde ELECTRA's vervangende token-detectie-idee uit?
- GPT-2
- DeBERTa-v3
- T5
- Woord2Vec
- What happens if ELECTRA’s generator proposes the original token at a position?
- It is always labeled replaced because the generator proposed it
- The position is removed from the input
- That token is treated as original by the discriminator’s replaced-token label
- The whole sequence is discarded
- When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
- Compare model names alone
- Assume every ELECTRA run uses one fixed compute ratio
- Ignore generator training cost
- Specify model size, data, training budget, and evaluation setting