Cuestionario vinculado a una guía · Medio Nivel

Prueba de acumulación de gradiente

Pruebe las sumas de gradientes de microlotes, el tamaño de lote efectivo, la escala de pérdidas, el tiempo del optimizador, los límites de normalización y los errores de reinicio prematuros.

Rutas de guía relacionadasAcumulación de gradiente
Pregunta 1 de 8

¿Qué te permite hacer principalmente la acumulación de gradiente?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué te permite hacer principalmente la acumulación de gradiente?
    • Entrena sin GPU
    • Saltar el pase hacia atrás
    • Simule un tamaño de lote efectivo mayor en memoria limitada
    • Eliminar el optimizador por completo
  2. Con microlotes de tamaño 4 y 8 pasos de acumulación, el tamaño de lote efectivo es:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Después de cada microlote
    • nunca
    • Antes del pase adelantado
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Para mantener correcta la tasa de aprendizaje efectiva, la pérdida por microlote suele ser:
    • Multiplicado por N
    • Dividido por el número de pasos de acumulación N
    • Establecer en cero
    • Reemplazado con precisión
  5. ¿Qué capa de normalización se combina más claramente con la acumulación de gradiente?
    • Normalización de capas o grupos, ya que no dependen de estadísticas de lotes.
    • Normalización por lotes, porque le encantan los lotes pequeños
    • Ninguna normalización funciona con él.
    • Sólo abandono
  6. El principal costo de utilizar la acumulación de gradiente es:
    • Más memoria GPU utilizada en el pico
    • Pérdida de todos los gradientes.
    • Mayor tiempo de reloj por actualización efectiva
    • Incapacidad para utilizar un optimizador
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch