Cuestionario vinculado a una guía · duro Nivel

Prueba de paralelismo de modelos y tuberías

Explica la partición de tensores y canalizaciones, las transferencias de activación, los cronogramas de microbatch, las burbujas de canalizaciones y las compensaciones de comunicación.

Rutas de guía relacionadasParalelismo de modelo y canalización
Pregunta 1 de 8

¿Qué problema fundamental resuelve el paralelismo de modelos y canalizaciones?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué problema fundamental resuelve el paralelismo de modelos y canalizaciones?
    • Un modelo demasiado grande para caber en la memoria de una sola GPU
    • Carga lenta de datos desde el disco
    • Explosión de gradientes durante el entrenamiento.
    • Muy pocos ejemplos de formación disponibles
  2. ¿Cómo funciona la división del paralelismo tensorial (intracapa)?
    • Asigna capas enteras a diferentes GPU
    • Divide las matemáticas dentro de una capa, como una matriz multiplicada, entre GPU
    • Duplica cada capa en cada GPU
    • Ejecuta cada capa dos veces para lograr redundancia.
  3. ¿Qué es la "burbuja" en el ingenuo paralelismo de tuberías?
    • Una pérdida de memoria que crece con el tiempo.
    • Una copia duplicada del estado del optimizador.
    • Tiempo de inactividad cuando las GPU descendentes esperan a que las etapas ascendentes produzcan activaciones
    • Un aumento en los valores de gradiente
  4. ¿Cómo reduce el paralelismo de tuberías la burbuja?
    • Usando una tasa de aprendizaje más pequeña
    • Eliminando algunas capas del modelo.
    • Almacenando activaciones en la CPU
    • Dividiendo cada lote en microlotes que fluyen a través de etapas de forma escalonada
  5. ¿Por qué el paralelismo tensorial normalmente se mantiene dentro de un solo nodo?
    • Debido a que su frecuente reducción total de resultados parciales se beneficia de enlaces rápidos dentro del nodo como NVLink
    • Porque no requiere ninguna comunicación.
    • Porque los nodos no pueden compartir datos en absoluto
    • Porque solo admite una GPU
  6. ¿Qué marco es más conocido por el paralelismo tensorial en el entrenamiento de transformadores?
    • aprendizaje-scikit
    • NVIDIA Megatrón-LM
    • OpenCV
    • pandas
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation