Cuestionario sobre ZeRO y optimizadores fragmentados

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué redundancia elimina ZeRO en comparación con el paralelismo de datos simple?
   • Duplicar copias completas del estado, gradientes y parámetros del optimizador en cada GPU
   • Copias duplicadas de los datos de entrenamiento en cada GPU.
   • Cables de red redundantes entre nodos
   • Pasos repetidos hacia adelante sobre el mismo lote
2. ¿Por qué el estado del optimizador suele ser el que más memoria consume en Adam?
   • Adam no almacena ningún estado adicional
   • Adam mantiene valores adicionales por parámetro (como impulso y varianza), a menudo varias veces el tamaño del modelo.
   • Adam duplica todo el conjunto de datos
   • Adam requiere almacenar cada gradiente pasado para siempre
3. ¿Qué fragmenta ZeRO Stage 3 que no hacen las etapas 1 y 2?
   • Los datos de entrenamiento
   • La función de pérdida
   • Los propios parámetros del modelo.
   • El calendario de tasas de aprendizaje.
4. En ZeRO Stage 3, ¿cómo obtiene una GPU todos los parámetros que necesita para el avance de una capa?
   • Nunca necesita los parámetros completos.
   • Los descarga de internet
   • Los vuelve a calcular desde cero cada vez.
   • Realiza una recolección completa para recolectar las porciones que faltan y luego las descarta.
5. ¿Qué característica de PyTorch implementa de forma nativa la fragmentación estilo ZeRO?
   • FSDP (datos paralelos completamente fragmentados)
   • Cargador de datos
   • AntorchaScript
   • autogrado
6. ¿Cuál es la principal compensación que hace ZeRO para ahorrar memoria?
   • Sacrifica la precisión del modelo por la velocidad
   • Agrega comunicación adicional para recolectar y dispersar fragmentos según sea necesario.
   • Elimina capas del modelo.
   • Sólo funciona con modelos muy pequeños.
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients