Cuestionario vinculado a una guía · Medio Nivel

Cuestionario sobre horarios de calentamiento y recocido de coseno

Prueba la función del entrenamiento temprano del calentamiento, la transición a la caída del coseno y cómo leer la rampa lineal y el punto final del programa.

Rutas de guía relacionadasProgramas de calentamiento y recocido de coseno
Pregunta 1 de 8

¿Cuál es el objetivo principal de la fase de calentamiento al inicio del entrenamiento?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el objetivo principal de la fase de calentamiento al inicio del entrenamiento?
    • Estabilizar el entrenamiento inicial cuando los pesos son aleatorios y los gradientes son ruidosos.
    • Para aumentar el tamaño del lote gradualmente
    • Para congelar las capas inferiores del modelo
    • Para comprimir el modelo para una inferencia más rápida
  2. ¿El recocido del coseno desciende la tasa de aprendizaje, siguiendo qué forma?
    • Una línea diagonal recta
    • Una curva de coseno que comienza alto, se suaviza y se aplana cerca de cero
    • Una función escalonada que cae en épocas fijas.
    • Un aumento exponencial
  3. ¿Qué optimizador se beneficia especialmente del calentamiento porque sus estimaciones de varianza no son confiables desde el principio?
    • SGD simple sin impulso
    • Búsqueda de cuadrícula
    • Adán y sus variantes
    • K-medias
  4. En la fórmula del coseno, ¿qué representa T?
    • La temperatura del modelo para el muestreo.
    • La cantidad de GPU utilizadas
    • El tamaño del vocabulario del tokenizador.
    • El número total de pasos de entrenamiento en el programa.
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • uno
    • One-half
    • Cero
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually