Quiz collegato alla guida · Medio Livello

ELECTRA Quiz di pre-allenamento

Spiega il rilevamento dei token sostituiti, i ruoli del generatore e del discriminatore, l'apprendimento attraverso le posizioni dei token e i limiti dei confronti di calcolo.

Percorsi guida correlatiPreallenamento di Elettra
Domanda 1 di 8

Quale attività di pre-formazione utilizza ELECTRA invece della modellazione linguistica mascherata?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale attività di pre-formazione utilizza ELECTRA invece della modellazione linguistica mascherata?
    • Rilevamento token sostituito
    • Previsione della frase successiva
    • Predizione autoregressiva della parola successiva
    • Modellazione del linguaggio di permutazione
  2. Perché ELECTRA è più efficiente in termini di calcolo di BERT?
    • Utilizza un vocabolario molto più ristretto
    • Calcola un segnale di apprendimento su tutti i token, non solo su quelli mascherati
    • Si allena solo sul 15% mascherato dei token
    • Salta completamente il meccanismo dell’attenzione
  3. Che ruolo gioca la rete di piccoli generatori in ELECTRA?
    • Classifica i risultati finali in base alla qualità
    • Comprime il modello dopo l'addestramento
    • Produce token sostitutivi plausibili affinché il discriminatore possa giudicare
    • Traduce il testo tra le lingue
  4. Cosa succede al generatore una volta completato il pre-addestramento?
    • È ottimizzato per l'attività a valle
    • È unito al discriminatore
    • Diventa il decodificatore per generazione
    • Viene scartato; viene utilizzato solo il discriminatore
  5. ELECTRA è stato sviluppato principalmente da ricercatori di quali organizzazioni?
    • Google e Stanford
    • Meta AI e New York University
    • OpenAI e Microsoft
    • DeepMind e Oxford
  6. Quale modello successivo ha esteso l'idea di rilevamento dei token sostituiti di ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting