Вікторина, пов’язана з посібником · важко Рівень

Тест ZeRO та Sharded Optimizers

Охоплює етапи ZeRO, пам'ять стану Adam, збір параметрів, зменшення градієнта, параметри розвантаження та витрати на зв'язок.

Пов'язані напрямні шляхиНульові та сегментовані оптимізатори
Питання 1 з 8

Яку надмірність усуває ZeRO порівняно з паралелізмом простих даних?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку надмірність усуває ZeRO порівняно з паралелізмом простих даних?
    • Дублюйте повні копії стану оптимізатора, градієнтів і параметрів на кожному GPU
    • Дубльовані копії навчальних даних на кожному GPU
    • Резервні мережеві кабелі між вузлами
    • Повторні проходи вперед над тією ж партією
  2. Чому стан оптимізатора часто є найбільшою проблемою пам’яті Адама?
    • Адам взагалі не зберігає жодного додаткового стану
    • Адам зберігає додаткові значення кожного параметра (наприклад, імпульс і дисперсію), які часто в кілька разів перевищують розмір моделі
    • Адам дублює весь набір даних
    • Адам вимагає зберігати кожен попередній градієнт назавжди
  3. Що має шард ZeRO Stage 3, чого немає на етапах 1 і 2?
    • Дані про навчання
    • Функція втрат
    • Самі параметри моделі
    • Розклад курсу навчання
  4. Як у ZeRO Stage 3 графічний процесор отримує повні параметри, необхідні для прямого проходу рівня?
    • Він ніколи не потребує повних параметрів
    • Він завантажує їх з Інтернету
    • Він кожного разу перераховує їх з нуля
    • Він виконує збірку, щоб зібрати відсутні фрагменти, а потім відкидає їх
  5. Яка функція PyTorch нативно реалізує шардинг у стилі ZeRO?
    • FSDP (повністю розділені дані паралельно)
    • DataLoader
    • TorchScript
    • Автоград
  6. Який основний компроміс ZeRO робить для збереження пам’яті?
    • Він жертвує точністю моделі заради швидкості
    • Це додає додатковий зв’язок, щоб збирати та розкидати осколки за потреби
    • Він видаляє шари з моделі
    • Він працює лише з дуже маленькими моделями
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients