Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre el forzamiento del profesor en modelos de secuencia

Comprueba cómo los prefijos de verdad fundamental entrenan un decodificador de secuencia, cómo las máscaras causales respaldan el entrenamiento paralelo y por qué difiere la inferencia.

Rutas de guía relacionadasForzado docente en modelos secuenciales
Pregunta 1 de 8

Durante el forzado del profesor, ¿qué se introduce como entrada en cada paso de decodificación?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. Durante el forzado del profesor, ¿qué se introduce como entrada en cada paso de decodificación?
    • El token anterior de la verdad fundamental
    • La predicción previa del propio modelo.
    • Una ficha aleatoria
    • El token de salida final
  2. Durante el entrenamiento con teacher forcing, ¿qué objetivo se empareja con la entrada del decodificador y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. El desajuste entre las pruebas de tren causado por el forzamiento de los docentes se conoce como:
    • Degradados que desaparecen
    • Colapso de modo
    • Sesgo de exposición
    • Fuga de etiquetas
  4. En un decodificador Transformer, ¿qué mecanismo permite que la capacitación forzada por docentes se ejecute en paralelo en todas las posiciones?
    • Abandono
    • Normalización por lotes
    • búsqueda de haz
    • Una máscara de atención causal (de anticipación)
  5. En el momento de la inferencia, ¿por qué no se puede utilizar la fuerza del profesor?
    • No hay tokens futuros reales que alimentar
    • La función de pérdida no está disponible
    • La GPU es demasiado lenta
    • Las máscaras de atención están deshabilitadas
  6. ¿Qué pérdida se utiliza normalmente en cada paso durante la capacitación forzada por docentes?
    • Error cuadrático medio en logits sin procesar
    • Entropía cruzada entre la distribución prevista y el siguiente token verdadero
    • Pérdida de bisagra en incrustaciones
    • Pérdida de similitud del coseno
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t