Cuestionario vinculado a una guía · duro Nivel

Prueba de sesgo de exposición y muestreo programado

Comprueba cómo el muestreo programado cambia el contexto del decodificador, por qué disminuye la probabilidad de su ficha de oro y las compensaciones de gradiente del muestreo.

Rutas de guía relacionadasSesgo de exposición y muestreo programado
Pregunta 1 de 8

El sesgo de exposición surge porque los modelos entrenados con el profesor forzando solo condicionan:

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. El sesgo de exposición surge porque los modelos entrenados con el profesor forzando solo condicionan:
    • Fichas de verdad fundamental, pero deben usar las suyas propias en la inferencia.
    • Sus propios tokens predichos
    • Fichas de ruido aleatorio
    • Fichas futuras
  2. ¿Qué hace el muestreo programado durante el entrenamiento?
    • Siempre alimenta la verdadera ficha
    • Elige aleatoriamente entre el token verdadero y la predicción del propio modelo.
    • Desactiva la función de pérdida periódicamente.
    • Duplica la tasa de aprendizaje con el tiempo
  3. ¿Cómo cambia la probabilidad de utilizar el token de verdad sobre el terreno durante el entrenamiento en el muestreo programado?
    • se mantiene constante
    • Comienza bajo y aumenta.
    • Comienza alto y decae hacia cero
    • Oscila aleatoriamente
  4. ¿Quién introdujo el muestreo programado y aproximadamente cuándo?
    • Vaswani y otros, 2017
    • Hinton y otros, 2006
    • LeCun y otros, 1998
    • Bengio et al., 2015
  5. Un inconveniente técnico reconocido de devolver fichas muestreadas durante el entrenamiento es que:
    • El paso de muestreo discreto no es diferenciable, lo que complica los gradientes.
    • Hace que el entrenamiento sea completamente determinista.
    • No requiere datos de validación
    • Elimina la necesidad de incrustaciones
  6. ¿Qué forma de horario se cita comúnmente para disminuir la probabilidad de obligar al maestro?
    • constante
    • Decaimiento sigmoideo inverso
    • Incremento lineal incremental
    • paseo aleatorio
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning