Quiz collegato alla guida · Medio Livello
ELECTRA Quiz di pre-allenamento
Spiega il rilevamento dei token sostituiti, i ruoli del generatore e del discriminatore, l'apprendimento attraverso le posizioni dei token e i limiti dei confronti di calcolo.
Domanda 1 di 8
Quale attività di pre-formazione utilizza ELECTRA invece della modellazione linguistica mascherata?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale attività di pre-formazione utilizza ELECTRA invece della modellazione linguistica mascherata?
- Rilevamento token sostituito
- Previsione della frase successiva
- Predizione autoregressiva della parola successiva
- Modellazione del linguaggio di permutazione
- Perché ELECTRA è più efficiente in termini di calcolo di BERT?
- Utilizza un vocabolario molto più ristretto
- Calcola un segnale di apprendimento su tutti i token, non solo su quelli mascherati
- Si allena solo sul 15% mascherato dei token
- Salta completamente il meccanismo dell’attenzione
- Che ruolo gioca la rete di piccoli generatori in ELECTRA?
- Classifica i risultati finali in base alla qualità
- Comprime il modello dopo l'addestramento
- Produce token sostitutivi plausibili affinché il discriminatore possa giudicare
- Traduce il testo tra le lingue
- Cosa succede al generatore una volta completato il pre-addestramento?
- È ottimizzato per l'attività a valle
- È unito al discriminatore
- Diventa il decodificatore per generazione
- Viene scartato; viene utilizzato solo il discriminatore
- ELECTRA è stato sviluppato principalmente da ricercatori di quali organizzazioni?
- Google e Stanford
- Meta AI e New York University
- OpenAI e Microsoft
- DeepMind e Oxford
- Quale modello successivo ha esteso l'idea di rilevamento dei token sostituiti di ELECTRA?
- GPT-2
- DeBERTa-v3
- T5
- Word2Vec
- What happens if ELECTRA’s generator proposes the original token at a position?
- It is always labeled replaced because the generator proposed it
- The position is removed from the input
- That token is treated as original by the discriminator’s replaced-token label
- The whole sequence is discarded
- When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
- Compare model names alone
- Assume every ELECTRA run uses one fixed compute ratio
- Ignore generator training cost
- Specify model size, data, training budget, and evaluation setting