Kvíz spojený s průvodcem · Těžko úroveň

Kolektivní komunikace a kvíz NCCL

Otestujte role all-reduce, all-gather, broadcast a reduction-scatter, identitu NCCL, snížení zátěže sítě a malý příklad snížení součtu.

Související vodicí cestyKolektivní komunikace a NCCL
Otázka 1 z 8

Čeho dosáhne operace all-reduce v distribuovaném školení?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Čeho dosáhne operace all-reduce v distribuovaném školení?
    • Kombinuje hodnoty napříč všemi GPU a dává každému GPU kombinovaný výsledek
    • Odstraňuje nadbytečná data z jednoho GPU
    • Snižuje takt GPU za účelem úspory energie
    • Odesílá data ze všech GPU na jeden úložný disk
  2. Co znamená zkratka NCCL?
    • Vrstva neuronového výpočetního clusteru
    • Logika řízení síťové mezipaměti
    • Knihovna kolektivní komunikace NVIDIA
    • Numerická výpočetní knihovna konvoluce
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Která kolektivní operace shromažďuje část dat každého GPU do úplné kopie držené všemi GPU?
    • Vysílání
    • Snížit-rozptyl
    • Bariéra
    • Všichni-shromáždit
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Které propojení NCCL obvykle používá pro komunikaci MEZI servery (uzly)?
    • InfiniBand nebo RoCE
    • USB kabel
    • Pouze slot PCIe
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Všichni-shromáždit
    • Snížit-rozptyl
    • Vysílání
    • A standalone model checkpoint