Викторина, связанная с руководством · Жесткий Уровень

Параллельная викторина с полностью сегментированными данными

Охватывает сегментирование FSDP, сбор всех данных и уменьшение рассеяния, перекрытие коммуникаций и компромисс между памятью и сетью при обучении больших распределенных моделей.

Связанные направляющие путиПолностью сегментированный параллелизм данных
Вопрос 1 из 8

Что FSDP распределяет между графическими процессорами, чего НЕ делает стандартный параллелизм данных?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что FSDP распределяет между графическими процессорами, чего НЕ делает стандартный параллелизм данных?
    • Параметры, градиенты и состояния оптимизатора
    • Только входные партии
    • Только график обучения
    • Файлы набора обучающих данных на диске
  2. Какую коллективную операцию использует FSDP для восстановления полных весов слоя непосредственно перед его вычислением?
    • Только трансляция
    • Всесобрать
    • Разброс
    • Барьер
  3. Почему FSDP освобождает собранные полные веса сразу после вычисления слоя?
    • Чтобы повредить неиспользуемые градиенты
    • Чтобы заставить более медленный цикл обучения
    • Чтобы сохранить объем постоянной памяти на уровне одного фрагмента на устройство.
    • Потому что PyTorch удаляет их случайным образом.
  4. Какой более ранний подход к оптимизации памяти во многом вдохновил FSDP?
    • MapReduce Google
    • RDD Apache Spark
    • Ядра CUDA NVIDIA
    • ZeRO (оптимизатор нулевой избыточности) Microsoft
  5. Как FSDP скрывает большую часть задержки в сети от сбора весов?
    • Путем перекрытия связи с вычислениями и предварительной выборки параметров следующего слоя.
    • Отключив обратный проход
    • Путем сжатия весов до одного бита
    • Тренируясь только на процессоре
  6. Какая коллективная операция распределяет объединенные срезы градиента обратно на соответствующие графические процессоры в обратном проходе?
    • Полное дублирование
    • Уменьшить-разброс
    • Одночиповая копия
    • Только сбор
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication