Cuestionario vinculado a una guía · Medio Nivel

Cuestionario de compensaciones sobre el recálculo de activación

Pruebe la activación de los puntos de control de las compensaciones de la memoria, el recálculo selectivo y la corrección de la reproducción, incluido el motivo por el cual la computación adicional no soluciona todos los costos de la memoria.

Rutas de guía relacionadasRecomputación de activaciones: ventajas y costes
Pregunta 1 de 8

¿Qué intercambia el recálculo de activación para ahorrar memoria?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué intercambia el recálculo de activación para ahorrar memoria?
    • Precisión del modelo
    • Computación adicional (FLOP)
    • Ancho de banda de red
    • Precisión numérica
  2. ¿Por qué normalmente se almacenan las activaciones de pase directo?
    • Para mostrárselos al usuario
    • Para comprimir el modelo
    • Son necesarios para la tokenización.
    • Porque la retropropagación los necesita para calcular gradientes
  3. ¿Por qué conviene medir el sobrecosto del activation checkpointing en el modelo real?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. En una cadena idealizada de N capas con activaciones comparables, ¿qué escalamiento de almacenamiento puede lograr la colocación de puntos de control (checkpoints) según la raíz cuadrada?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. ¿Cuál es la idea detrás del recálculo selectivo (no completo)?
    • Vuelva a calcular cada operación dos veces
    • Nunca vuelvas a calcular nada
    • Vuelva a calcular solo la capa de incrustación
    • Vuelva a calcular solo las operaciones con mucha memoria pero de bajo costo, y las costosas en caché
  6. ¿Qué técnica complementaria se suele combinar con el recálculo para ahorrar aún más memoria?
    • Aumentar el tamaño del lote
    • Descarga de activaciones a CPU o NVMe
    • Eliminando todas las capas de normalización
    • Cambiar al modo de inferencia
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer