Test legat de ghid · Mediu Nivel

Testul de pregătire ELECTRA

Explică detectarea jetonelor înlocuite, rolurile generatorului și discriminatorului, învățarea pe pozițiile jetonelor și limitele comparațiilor de calcul.

Căi de ghidare aferentePreformarea Electra
Întrebare 1 de 8

Ce sarcină de preinstruire folosește ELECTRA în loc de modelarea limbajului mascat?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce sarcină de preinstruire folosește ELECTRA în loc de modelarea limbajului mascat?
    • Detectarea jetonului înlocuit
    • Predicția următoarei propoziții
    • Predicție autoregresivă pentru cuvântul următor
    • Modelarea limbajului de permutare
  2. De ce este ELECTRA mai eficient din punct de vedere al calculului decât BERT?
    • Folosește un vocabular mult mai mic
    • Acesta calculează un semnal de învățare pentru toate jetoanele, nu doar pentru cele mascate
    • Se antrenează doar pe 15% din jetoane mascate
    • Omite cu totul mecanismul de atenție
  3. Ce rol joacă rețeaua de generatoare mici în ELECTRA?
    • Clasifică rezultatele finale după calitate
    • Comprimă modelul după antrenament
    • Produce jetoane de înlocuire plauzibile pe care discriminatorul să le judece
    • Traduce text între limbi
  4. Ce se întâmplă cu generatorul după finalizarea antrenamentului?
    • Este reglat fin pentru sarcina din aval
    • Este fuzionat cu discriminatorul
    • Devine decodorul pentru generație
    • Se aruncă; este folosit doar discriminatorul
  5. ELECTRA a fost dezvoltată în primul rând de către cercetători din ce organizații?
    • Google și Stanford
    • Meta AI și NYU
    • OpenAI și Microsoft
    • DeepMind și Oxford
  6. Care model ulterior a extins ideea de detectare a jetonelor înlocuite de la ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting