Викторина, связанная с руководством · Жесткий Уровень

Викторина по обучающим стекам DeepSpeed и Megatron

Проверяет этапы шардинга ZeRO, тензорный и конвейерный параллелизм, контрольные точки активации, разгрузку и комбинированное параллельное трехмерное обучение.

Связанные направляющие путиТренировочные стеки Deepspeed и Megatron
Вопрос 1 из 8

Какова основная цель оптимизатора ZeRO компании DeepSpeed?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова основная цель оптимизатора ZeRO компании DeepSpeed?
    • Разделение состояний, градиентов и параметров оптимизатора между графическими процессорами для экономии памяти.
    • Сжатие окончательной модели для развертывания
    • Для перевода моделей между платформами
    • Автоматическая маркировка данных обучения
  2. Как тензорный параллелизм, впервые реализованный в Megatron-LM, разделяет модель?
    • Размещая разные слои на разных графических процессорах
    • Путем разделения отдельных матричных умножений внутри слоя на графические процессоры.
    • Предоставляя каждому графическому процессору отдельный пакет данных
    • Сохраняя разные временные шаги на разных графических процессорах.
  3. Конвейерный параллелизм отличается от тензорного параллелизма, поскольку он разбивает модель на:
    • Нарезка матриц внутри каждого слоя
    • Дублирование всей модели на каждом графическом процессоре
    • Назначение разных слоев (этапов) разным графическим процессорам
    • Квантование весов для снижения точности
  4. Какой этап ZeRO обеспечивает наибольшую экономию памяти за счет сегментирования самих параметров модели?
    • Этап 1
    • Этап 2
    • Этап 0
    • Этап 3
  5. Что дает «контрольная точка активации» для экономии памяти во время обучения?
    • Дополнительные вычисления за счет повторного расчета активаций во время обратного прохода.
    • Точность модели
    • Пропускная способность сети
    • Количество слоев
  6. Почему объединение этих методов часто называют «3D-параллелизмом»?
    • Работает только на 3D видеокартах.
    • Он сочетает в себе параллелизм данных, тензоров и конвейеров по трем осям.
    • Он использует максимум три графических процессора
    • Он визуализирует модели в трех измерениях.
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Этап 0
    • Этап 2
    • Этап 1
    • Этап 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget