Kvíz spojený s průvodcem · Těžko úroveň
Kolektivní komunikace a kvíz NCCL
Otestujte role all-reduce, all-gather, broadcast a reduction-scatter, identitu NCCL, snížení zátěže sítě a malý příklad snížení součtu.
Otázka 1 z 8
Čeho dosáhne operace all-reduce v distribuovaném školení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Čeho dosáhne operace all-reduce v distribuovaném školení?
- Kombinuje hodnoty napříč všemi GPU a dává každému GPU kombinovaný výsledek
- Odstraňuje nadbytečná data z jednoho GPU
- Snižuje takt GPU za účelem úspory energie
- Odesílá data ze všech GPU na jeden úložný disk
- Co znamená zkratka NCCL?
- Vrstva neuronového výpočetního clusteru
- Logika řízení síťové mezipaměti
- Knihovna kolektivní komunikace NVIDIA
- Numerická výpočetní knihovna konvoluce
- Why can chunked ring communication be useful for a large tensor?
- It guarantees constant latency for any number of devices
- Chunks can be streamed across participating links instead of waiting for one monolithic transfer
- It makes topology irrelevant
- It prevents all network contention
- Která kolektivní operace shromažďuje část dat každého GPU do úplné kopie držené všemi GPU?
- Vysílání
- Snížit-rozptyl
- Bariéra
- Všichni-shromáždit
- What does a supported network reduction offload such as SHARP do?
- Guarantee exactly half the traffic for every collective
- Remove the need for participating ranks
- Perform some reduction work in compatible network hardware
- Turn all-gather into a local memory copy
- Které propojení NCCL obvykle používá pro komunikaci MEZI servery (uzly)?
- InfiniBand nebo RoCE
- USB kabel
- Pouze slot PCIe
- Wi-Fi
- Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
- Only its own original value
- 3 for the middle rank and nothing elsewhere
- The average 3.33 unless requested separately
- 10
- Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
- Všichni-shromáždit
- Snížit-rozptyl
- Vysílání
- A standalone model checkpoint