Cuestionario vinculado a una guía · duro Nivel

Cuestionario sobre comunicación colectiva y NCCL

Pruebe los roles de reducción total, recopilación total, transmisión y dispersión reducida, identidad NCCL, descargas de red y un pequeño ejemplo de reducción de suma.

Rutas de guía relacionadasComunicación Colectiva Y Nccl
Pregunta 1 de 8

¿Qué logra una operación de reducción total en la capacitación distribuida?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué logra una operación de reducción total en la capacitación distribuida?
    • Combina valores en todas las GPU y le da a cada GPU el resultado combinado
    • Elimina datos redundantes de una GPU
    • Reduce la velocidad del reloj de la GPU para ahorrar energía.
    • Envía datos de todas las GPU a un único disco de almacenamiento.
  2. ¿Qué significan las siglas NCCL?
    • Capa de clúster de computación neuronal
    • Lógica de control de caché de red
    • Biblioteca de comunicaciones colectivas de NVIDIA
    • Biblioteca de cálculo de convolución numérica
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. ¿Qué operación colectiva reúne los datos de cada GPU en una copia completa en poder de todas las GPU?
    • Difusión
    • Reducir-dispersión
    • Barrera
    • todos reunidos
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. ¿Qué interconexión suele utilizar NCCL para la comunicación ENTRE servidores (nodos)?
    • InfiniBand o RoCE
    • Un cable USB
    • Solo la ranura PCIe
    • wifi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • todos reunidos
    • Reducir-dispersión
    • Difusión
    • A standalone model checkpoint