Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Kollektív kommunikáció és NCCL kvíz
Test all-reduce, all-gather, broadcast and reduce-scatter roles, NCCL identity, network offloads, and a small sum-reduction example.
kérdés 1 -ból 8
Mit ér el egy mindent csökkentő művelet az elosztott képzésben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit ér el egy mindent csökkentő művelet az elosztott képzésben?
- Egyesíti az összes GPU értékeit, és minden GPU-nak a kombinált eredményt adja
- Egy GPU-ból törli a redundáns adatokat
- Az energiatakarékosság érdekében csökkenti a GPU órajelét
- Az összes GPU-ról egyetlen tárolólemezre küldi az adatokat
- Mit jelent az NCCL mozaikszó?
- Neurális számítási fürtréteg
- Hálózati gyorsítótár vezérlési logika
- NVIDIA Kollektív Kommunikációs Könyvtár
- Numeric Convolution Compute Library
- Why can chunked ring communication be useful for a large tensor?
- It guarantees constant latency for any number of devices
- Chunks can be streamed across participating links instead of waiting for one monolithic transfer
- It makes topology irrelevant
- It prevents all network contention
- Melyik kollektív művelet gyűjti össze az egyes GPU-k adatait egy teljes másolatba, amelyet az összes GPU tárol?
- Adás
- Csökkentés-szórás
- Gát
- Mindent összegyűjteni
- What does a supported network reduction offload such as SHARP do?
- Guarantee exactly half the traffic for every collective
- Remove the need for participating ranks
- Perform some reduction work in compatible network hardware
- Turn all-gather into a local memory copy
- Milyen összeköttetést használ az NCCL általában a szerverek (csomópontok) KÖZÖTTI kommunikációhoz?
- InfiniBand vagy RoCE
- USB kábel
- Csak a PCIe slot
- Wi-Fi
- Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
- Only its own original value
- 3 for the middle rank and nothing elsewhere
- The average 3.33 unless requested separately
- 10
- Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
- Mindent összegyűjteni
- Csökkentés-szórás
- Adás
- A standalone model checkpoint