Викторина, связанная с руководством · Жесткий Уровень

Коллективное общение и викторина NCCL

Протестируйте роли «все-сокращение», «все-сбор», широковещательная передача и уменьшение-рассеяние, идентификацию NCCL, разгрузку сети и небольшой пример уменьшения суммы.

Связанные направляющие путиКоллективное общение и Nccl
Вопрос 1 из 8

Что дает операция полного сокращения в распределенном обучении?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что дает операция полного сокращения в распределенном обучении?
    • Он объединяет значения для всех графических процессоров и дает каждому графическому процессору объединенный результат.
    • Он удаляет избыточные данные с одного графического процессора.
    • Это снижает тактовую частоту графического процессора для экономии энергии.
    • Он отправляет данные со всех графических процессоров на один диск хранения.
  2. Что означает аббревиатура NCCL?
    • Уровень кластера нейронных вычислений
    • Логика управления сетевым кэшем
    • Библиотека коллективных коммуникаций NVIDIA
    • Библиотека вычислений числовой свертки
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. Какая коллективная операция собирает часть данных каждого графического процессора в полную копию, хранящуюся на всех графических процессорах?
    • Трансляция
    • Уменьшить-разброс
    • Барьер
    • Всесобрать
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. Какое межсоединение обычно использует NCCL для связи МЕЖДУ серверами (узлами)?
    • InfiniBand или RoCE
    • USB-кабель
    • Только слот PCIe
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • Всесобрать
    • Уменьшить-разброс
    • Трансляция
    • A standalone model checkpoint