Cuestionario vinculado a una guía · Medio Nivel

Prueba de programación de tasa de aprendizaje

Comprueba los programas de calentamiento, coseno y pasos, el comportamiento de reinicio, la inestabilidad temprana y la receta común de entrenamiento de calentamiento y luego caída.

Rutas de guía relacionadasProgramación de la tasa de aprendizaje
Pregunta 1 de 8

¿Cuál es el propósito de una fase de "calentamiento" en un programa de ritmo de aprendizaje?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el propósito de una fase de "calentamiento" en un programa de ritmo de aprendizaje?
    • Comenzar con un ritmo pequeño y aumentarlo, evitando la inestabilidad provocada por gradientes ruidosos tempranos.
    • Para reducir la precisión final
    • Para omitir los primeros lotes de datos
    • Para congelar todos los pesos al principio.
  2. ¿Qué programa sigue suavemente una curva de medio coseno hacia una tasa mínima?
    • horario constante
    • recocido coseno
    • Horario aleatorio
    • Aumento lineal
  3. ¿Qué sucede si la tasa de aprendizaje se establece demasiado alta?
    • El entrenamiento converge instantáneamente con una precisión perfecta.
    • El modelo entrena más lento pero siempre tiene éxito.
    • La pérdida puede divergir u oscilar en lugar de disminuir.
    • Nada cambia; la tasa no tiene ningún efecto
  4. ¿Qué efecto tiene la caída de pasos en la tasa de aprendizaje?
    • Lo aumenta linealmente en cada lote.
    • Lo mantiene perfectamente constante
    • Lo establece aleatoriamente en cada paso.
    • Lo reduce por un factor fijo en épocas predefinidas
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • El número de capas del modelo.
    • El tamaño del lote
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate