Quiz lié à un guide · Difficile Niveau

Communication collective et quiz NCCL

Testez les rôles de réduction totale, de collecte totale, de diffusion et de réduction de dispersion, l'identité NCCL, les déchargements réseau et un petit exemple de réduction de somme.

Chemins de guidage associésCommunication Collective Et Nccl
Question 1 de 8

Qu'accomplit une opération de réduction totale dans une formation distribuée ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'accomplit une opération de réduction totale dans une formation distribuée ?
    • Il combine les valeurs de tous les GPU et donne à chaque GPU le résultat combiné
    • Il supprime les données redondantes d'un GPU
    • Il réduit la vitesse d'horloge du GPU pour économiser de l'énergie
    • Il envoie les données de tous les GPU vers un seul disque de stockage
  2. Que signifie l'acronyme NCCL ?
    • Couche de cluster de calcul neuronal
    • Logique de contrôle du cache réseau
    • Bibliothèque de communications collectives NVIDIA
    • Bibliothèque de calcul de convolution numérique
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Quelle opération collective rassemble les données de chaque GPU dans une copie complète détenue par tous les GPU ?
    • Diffusion
    • Réduire la diffusion
    • Barrière
    • Rassemblement
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Quelle interconnexion NCCL utilise-t-elle généralement pour la communication ENTRE les serveurs (nœuds) ?
    • InfiniBand ou RoCE
    • Un câble USB
    • Le slot PCIe uniquement
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Rassemblement
    • Réduire la diffusion
    • Diffusion
    • A standalone model checkpoint