Тест, свързан с ръководство · трудно Ниво

Колективна комуникация и NCCL тест

Тествайте ролите за пълно намаляване, събиране на всички, излъчване и намаляване на разпръскване, NCCL идентичност, мрежови разтоварвания и малък пример за намаляване на сумата.

Свързани ръководни пътекиКолективна комуникация и Nccl
Въпрос 1 на 8

Какво постига операцията за пълно намаляване при разпределено обучение?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво постига операцията за пълно намаляване при разпределено обучение?
    • Той комбинира стойности във всички графични процесори и дава на всеки графичен процесор комбинирания резултат
    • Той изтрива излишните данни от един GPU
    • Той намалява тактовата честота на графичния процесор, за да пести енергия
    • Той изпраща данни от всички графични процесори към един диск за съхранение
  2. Какво означава съкращението NCCL?
    • Слой на невронен изчислителен клъстер
    • Логика за контрол на мрежовия кеш
    • Колективна комуникационна библиотека на NVIDIA
    • Библиотека за изчисления на числова конволюция
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Коя колективна операция събира част от данните на всеки GPU в пълно копие, съхранявано от всички GPU?
    • Излъчване
    • Намаляване-разпръскване
    • Бариера
    • Всички се събират
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Коя връзка обикновено използва NCCL за комуникация МЕЖДУ сървъри (възли)?
    • InfiniBand или RoCE
    • USB кабел
    • Само PCIe слот
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Всички се събират
    • Намаляване-разпръскване
    • Излъчване
    • A standalone model checkpoint