Quiz lié à un guide · Moyen Niveau

Quiz de pré-entraînement ELECTRA

Explique la détection des jetons remplacés, les rôles de générateur et de discriminateur, l'apprentissage à travers les positions des jetons et les limites des comparaisons de calcul.

Chemins de guidage associésPré-entraînement Electra
Question 1 de 8

Quelle tâche de pré-formation ELECTRA utilise-t-elle à la place de la modélisation du langage masqué ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle tâche de pré-formation ELECTRA utilise-t-elle à la place de la modélisation du langage masqué ?
    • Détection de jeton remplacée
    • Prédiction de la phrase suivante
    • Prédiction autorégressive du mot suivant
    • Modélisation du langage de permutation
  2. Pourquoi ELECTRA est-il plus efficace en calcul que BERT ?
    • Il utilise un vocabulaire beaucoup plus petit
    • Il calcule un signal d'apprentissage sur tous les jetons, pas seulement sur ceux masqués
    • Il ne s'entraîne que sur les 15% de tokens masqués
    • Il ignore complètement le mécanisme d’attention
  3. Quel rôle joue le réseau de petits groupes électrogènes dans ELECTRA ?
    • Il classe les résultats finaux par qualité
    • Il compresse le modèle après l'entraînement
    • Il produit des jetons de remplacement plausibles que le discriminateur peut juger
    • Il traduit le texte entre les langues
  4. Qu'arrive-t-il au générateur une fois la pré-formation terminée ?
    • Il est adapté à la tâche en aval
    • Il est fusionné avec le discriminateur
    • Il devient le décodeur de la génération
    • Il est rejeté ; seul le discriminateur est utilisé
  5. ELECTRA a été développé principalement par des chercheurs de quelles organisations ?
    • Google et Stanford
    • Meta IA et NYU
    • OpenAI et Microsoft
    • DeepMind et Oxford
  6. Quel modèle ultérieur a étendu l'idée de détection de jeton remplacé d'ELECTRA ?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Mot2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting