Cuestionario vinculado a una guía · duro Nivel

Prueba de pilas de entrenamiento de DeepSpeed y Megatron

Comprueba las etapas de fragmentación de ZeRO, el paralelismo de tensores y canalizaciones, los puntos de control de activación, la descarga y el entrenamiento paralelo 3D combinado.

Rutas de guía relacionadasPilas de entrenamiento de Deepspeed y Megatron
Pregunta 1 de 8

¿Cuál es el propósito principal del optimizador ZeRO de DeepSpeed?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el propósito principal del optimizador ZeRO de DeepSpeed?
    • Para fragmentar estados, gradientes y parámetros del optimizador en GPU para ahorrar memoria
    • Para comprimir el modelo final para su implementación
    • Para traducir modelos entre marcos
    • Para etiquetar automáticamente los datos de entrenamiento
  2. El paralelismo tensorial, iniciado en Megatron-LM, divide el modelo ¿cómo?
    • Poniendo diferentes capas en diferentes GPU
    • Cortando multiplicaciones de matrices individuales dentro de una capa en GPU
    • Dándole a cada GPU un lote diferente de datos
    • Almacenando diferentes pasos de tiempo en diferentes GPU
  3. El paralelismo de canalización se diferencia del paralelismo tensorial porque divide el modelo en:
    • Cortar matrices dentro de cada capa.
    • Duplicar todo el modelo en cada GPU
    • Asignar diferentes capas (etapas) a diferentes GPU
    • Cuantización de pesos para reducir la precisión
  4. ¿Qué etapa de ZeRO proporciona el mayor ahorro de memoria al fragmentar también los parámetros del modelo?
    • Etapa 1
    • Etapa 2
    • Etapa 0
    • Etapa 3
  5. ¿Qué intercambia el 'punto de control de activación' para ahorrar memoria durante el entrenamiento?
    • Cómputo adicional, al recalcular las activaciones durante el pase hacia atrás
    • Precisión del modelo
    • Ancho de banda de red
    • El número de capas
  6. ¿Por qué a la combinación de estas técnicas a menudo se le llama "paralelismo 3D"?
    • Sólo funciona en tarjetas gráficas 3D.
    • Combina paralelismo de datos, tensor y canalización a lo largo de tres ejes.
    • Utiliza tres GPU como máximo
    • Representa modelos en tres dimensiones.
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Etapa 0
    • Etapa 2
    • Etapa 1
    • Etapa 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget