Cuestionario vinculado a una guía · duro Nivel

Prueba paralela de datos completamente fragmentados

Cubre la fragmentación de FSDP, la recopilación total y la reducción de la dispersión, la superposición de comunicaciones y las compensaciones entre memoria y red en el entrenamiento de modelos distribuidos grandes.

Rutas de guía relacionadasDatos completamente fragmentados en paralelo
Pregunta 1 de 8

¿Qué fragmenta FSDP entre GPU que NO hace el paralelismo de datos estándar?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué fragmenta FSDP entre GPU que NO hace el paralelismo de datos estándar?
    • Parámetros, gradientes y estados del optimizador.
    • Sólo los lotes de entrada
    • Solo el programa de tasa de aprendizaje.
    • Los archivos del conjunto de datos de entrenamiento en el disco.
  2. ¿Qué operación colectiva utiliza FSDP para reconstruir los pesos completos de una capa justo antes de calcularla?
    • Sólo transmisión
    • todos reunidos
    • dispersión
    • Barrera
  3. ¿Por qué FSDP libera los pesos completos recopilados inmediatamente después del cálculo de una capa?
    • Para corromper gradientes no utilizados
    • Para forzar un ciclo de entrenamiento más lento
    • Para mantener la huella de memoria permanente en un solo fragmento por dispositivo
    • Porque PyTorch los elimina aleatoriamente
  4. ¿En qué enfoque anterior de optimización de la memoria se inspiró en gran medida el FSDP?
    • MapReduce de Google
    • RDD Apache Spark
    • Núcleos CUDA de NVIDIA
    • ZeRO (Optimizador de redundancia cero) de Microsoft
  5. ¿Cómo oculta FSDP gran parte de la latencia de la red para evitar la acumulación de pesos?
    • Al superponer la comunicación con el cálculo, precargar los parámetros de la siguiente capa
    • Al desactivar el pase hacia atrás
    • Comprimiendo pesos a un bit
    • Entrenando solo en CPU
  6. ¿Qué operación colectiva distribuye cortes de gradiente combinados a sus propias GPU en el paso hacia atrás?
    • Duplicación total
    • Reducir-dispersión
    • Copia de una sola GPU
    • Sólo para reuniones
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication