Cuestionario vinculado a una guía · Medio Nivel

Prueba de preentrenamiento ELECTRA

Explica las funciones de detección, generador y discriminador de tokens reemplazados, el aprendizaje entre posiciones de tokens y los límites de las comparaciones informáticas.

Rutas de guía relacionadasPreentrenamiento de Electra
Pregunta 1 de 8

¿Qué tarea de preentrenamiento utiliza ELECTRA en lugar del modelado de lenguaje enmascarado?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué tarea de preentrenamiento utiliza ELECTRA en lugar del modelado de lenguaje enmascarado?
    • Detección de token reemplazado
    • Predicción de la siguiente oración
    • Predicción autorregresiva de la siguiente palabra
    • Modelado de lenguaje de permutación
  2. ¿Por qué ELECTRA es más eficiente en computación que BERT?
    • Utiliza un vocabulario mucho más reducido.
    • Calcula una señal de aprendizaje para todos los tokens, no solo para los enmascarados.
    • Solo entrena con el 15% de los tokens enmascarados.
    • Se salta el mecanismo de atención por completo.
  3. ¿Qué papel juega la red de pequeños generadores en ELECTRA?
    • Clasifica los resultados finales por calidad.
    • Comprime el modelo después del entrenamiento.
    • Produce fichas de reemplazo plausibles para que el discriminador las juzgue.
    • Traduce texto entre idiomas.
  4. ¿Qué sucede con el generador una vez finalizado el preentrenamiento?
    • Está optimizado para la tarea posterior.
    • Se fusiona con el discriminador.
    • Se convierte en el decodificador de la generación.
    • Está descartado; sólo se utiliza el discriminador
  5. ¿ELECTRA fue desarrollado principalmente por investigadores de qué organizaciones?
    • Google y Stanford
    • Meta AI y Nueva York
    • OpenAI y Microsoft
    • DeepMind y Oxford
  6. ¿Qué modelo posterior amplió la idea de detección de tokens reemplazados de ELECTRA?
    • GPT-2
    • DeBERTa-v3
    • T5
    • Palabra2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting