Вікторина, пов’язана з посібником · важко Рівень

Колективне спілкування та вікторина NCCL

Перевірте ролі all-reduce, all-gather, broadcast та reduce-scatter, ідентифікатор NCCL, розвантаження мережі та невеликий приклад зменшення суми.

Пов'язані напрямні шляхиКолективне спілкування та Nccl
Питання 1 з 8

Що досягає операція all-reduce у розподіленому навчанні?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що досягає операція all-reduce у розподіленому навчанні?
    • Він поєднує значення для всіх графічних процесорів і дає кожному графічному процесору комбінований результат
    • Він видаляє зайві дані з одного GPU
    • Це зменшує тактову частоту GPU для економії енергії
    • Він надсилає дані з усіх GPU на один диск зберігання
  2. Що означає абревіатура NCCL?
    • Кластерний рівень нейронних обчислень
    • Логіка керування мережевим кеш-пам’яттю
    • Бібліотека колективних комунікацій NVIDIA
    • Бібліотека обчислень числової згортки
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Яка спільна операція збирає частину даних кожного графічного процесора в повну копію, що зберігається всіма графічним процесором?
    • Трансляція
    • Зменшити-розкидати
    • Бар'єр
    • Всі-збираються
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Яке з’єднання зазвичай використовує NCCL для зв’язку МІЖ серверами (вузлами)?
    • InfiniBand або RoCE
    • Кабель USB
    • Тільки слот PCIe
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Всі-збираються
    • Зменшити-розкидати
    • Трансляція
    • A standalone model checkpoint