Quiz połączony z przewodnikiem · Ciężko Poziom

Komunikacja zbiorowa i quiz NCCL

Przetestuj role typu all-redukuj, all-zbieraj, rozgłaszaj i redukuj-rozpraszaj, tożsamość NCCL, odciążanie sieci i mały przykład redukcji sumy.

Powiązane ścieżki prowadząceKomunikacja zbiorowa i Nccl
Pytanie 1 z 8

Co osiąga operacja całkowitej redukcji w szkoleniu rozproszonym?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co osiąga operacja całkowitej redukcji w szkoleniu rozproszonym?
    • Łączy wartości ze wszystkich procesorów graficznych i daje każdemu procesorowi graficznemu łączny wynik
    • Usuwa zbędne dane z jednego procesora graficznego
    • Zmniejsza prędkość zegara GPU, aby oszczędzać energię
    • Wysyła dane ze wszystkich procesorów graficznych na pojedynczy dysk
  2. Co oznacza skrót NCCL?
    • Warstwa klastra obliczeń neuronowych
    • Logika kontroli pamięci podręcznej sieci
    • Biblioteka zbiorowej komunikacji NVIDIA
    • Biblioteka obliczeń splotu numerycznego
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Która zbiorowa operacja gromadzi dane każdego procesora graficznego w pełnej kopii przechowywanej przez wszystkie procesory graficzne?
    • Transmisja
    • Redukcja-rozproszenie
    • Bariera
    • Zbierzcie się wszyscy
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Jakiego połączenia międzysieciowego NCCL zwykle używa do komunikacji POMIĘDZY serwerami (węzłami)?
    • InfiniBand lub RoCE
    • Kabel USB
    • Tylko gniazdo PCIe
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Zbierzcie się wszyscy
    • Redukcja-rozproszenie
    • Transmisja
    • A standalone model checkpoint