Викторина по ZeRO и сегментированным оптимизаторам

Ответы и пояснения появляются по мере прохождения теста.

1. Какую избыточность устраняет ZeRO по сравнению с простым параллелизмом данных?
   • Дублирование полных копий состояния, градиентов и параметров оптимизатора на каждом графическом процессоре.
   • Дублированные копии обучающих данных на каждом графическом процессоре
   • Резервные сетевые кабели между узлами
   • Повторные проходы вперед по одной и той же партии
2. Почему состояние оптимизатора часто является самым большим расходом памяти у Адама?
   • Адам вообще не хранит никаких дополнительных состояний
   • Адам сохраняет дополнительные значения для каждого параметра (например, импульс и дисперсию), часто в несколько раз превышающие размер модели.
   • Адам дублирует весь набор данных
   • Адам требует навсегда сохранить каждый прошлый градиент
3. Что такого есть на этапе 3 ZeRO, чего нет на этапах 1 и 2?
   • Данные обучения
   • Функция потерь
   • Сами параметры модели
   • График обучения
4. Как в ZeRO Stage 3 графический процессор получает все параметры, необходимые для прямого прохода слоя?
   • Ему никогда не нужны полные параметры
   • Он загружает их из Интернета
   • Он каждый раз пересчитывает их с нуля.
   • Он выполняет сбор всех недостающих фрагментов, а затем отбрасывает их.
5. Какая функция PyTorch изначально реализует сегментирование в стиле ZeRO?
   • FSDP (полностью сегментированный параллельный обмен данными)
   • Загрузчик данных
   • Торчскрипт
   • Автоград
6. Какой основной компромисс делает ZeRO для экономии памяти?
   • Он жертвует точностью модели ради скорости.
   • Это добавляет дополнительное общение для сбора и разброса осколков по мере необходимости.
   • Удаляет слои из модели.
   • Работает только с очень маленькими моделями.
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients