Descarga del estado del optimizador a la CPU y NVMe Quiz

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el objetivo principal de descargar estados del optimizador a la CPU o NVMe?
   • Para hacer el modelo más preciso.
   • Reducir el número de épocas de entrenamiento necesarias.
   • Para eliminar por completo la necesidad de gradientes
   • Para adaptarse a modelos más grandes liberando la escasa memoria de la GPU
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. ¿Qué característica del marco popularizó la descarga de optimizadores a gran escala?
   • Una nueva función de activación
   • Compresión de imágenes JPEG
   • DeepSpeed ZeRO-Offload y ZeRO-Infinity
   • Recorte de degradado
4. ¿Cuál es el principal costo de rendimiento de la descarga a CPU o NVMe?
   • Los datos deben viajar a través de enlaces más lentos como PCIe o al disco, lo que agrega latencia
   • El modelo olvida el entrenamiento anterior.
   • El optimizador se vuelve matemáticamente incorrecto
   • La temperatura de la GPU baja demasiado
5. ¿Cómo ocultan los sistemas de descarga gran parte de la latencia de transferencia?
   • Saltándose el pase hacia atrás
   • Superponiendo la captación previa de datos con el cálculo de GPU en curso
   • Entrenando solo un parámetro a la vez
   • Al deshabilitar la precisión mixta
6. En ZeRO-Offload, ¿dónde se ejecuta a menudo el paso del optimizador Adam?
   • Completamente en el controlador NVMe
   • En una GPU de pantalla separada
   • En la CPU, utilizando los pesos y momentos maestros almacenados allí
   • Dentro del conmutador de red
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time