Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Kollektív kommunikáció és NCCL kvíz

Test all-reduce, all-gather, broadcast and reduce-scatter roles, NCCL identity, network offloads, and a small sum-reduction example.

Kapcsolódó útmutató utakKollektív Kommunikáció és Nccl
kérdés 1 -ból 8

Mit ér el egy mindent csökkentő művelet az elosztott képzésben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit ér el egy mindent csökkentő művelet az elosztott képzésben?
    • Egyesíti az összes GPU értékeit, és minden GPU-nak a kombinált eredményt adja
    • Egy GPU-ból törli a redundáns adatokat
    • Az energiatakarékosság érdekében csökkenti a GPU órajelét
    • Az összes GPU-ról egyetlen tárolólemezre küldi az adatokat
  2. Mit jelent az NCCL mozaikszó?
    • Neurális számítási fürtréteg
    • Hálózati gyorsítótár vezérlési logika
    • NVIDIA Kollektív Kommunikációs Könyvtár
    • Numeric Convolution Compute Library
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Melyik kollektív művelet gyűjti össze az egyes GPU-k adatait egy teljes másolatba, amelyet az összes GPU tárol?
    • Adás
    • Csökkentés-szórás
    • Gát
    • Mindent összegyűjteni
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Milyen összeköttetést használ az NCCL általában a szerverek (csomópontok) KÖZÖTTI kommunikációhoz?
    • InfiniBand vagy RoCE
    • USB kábel
    • Csak a PCIe slot
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Mindent összegyűjteni
    • Csökkentés-szórás
    • Adás
    • A standalone model checkpoint