Вікторина, пов’язана з посібником · важко Рівень

Тест із навчальних стеків DeepSpeed і Megatron

Перевіряє етапи сегментування ZeRO, паралелізм тензорів і конвеєрів, контрольні точки активації, розвантаження та комбіноване 3D-паралельне навчання.

Пов'язані напрямні шляхиНавчальні пакети Deepspeed і Megatron
Питання 1 з 8

Яке основне призначення оптимізатора ZeRO від DeepSpeed?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яке основне призначення оптимізатора ZeRO від DeepSpeed?
    • Щоб розділити стани оптимізатора, градієнти та параметри між GPU для економії пам’яті
    • Щоб стиснути остаточну модель для розгортання
    • Перекладати моделі між фреймворками
    • Для автоматичного позначення тренувальних даних
  2. Як тензорний паралелізм, запроваджений у Megatron-LM, розбиває модель?
    • Розміщуючи різні шари на різних графічних процесорах
    • Шляхом розрізання окремих множень матриці в межах рівня між GPU
    • Надаючи кожному GPU окремий пакет даних
    • Зберігаючи різні часові кроки на різних графічних процесорах
  3. Конвеєрний паралелізм відрізняється від тензорного паралелізму, оскільки він розбиває модель на:
    • Нарізка матриць всередині кожного шару
    • Дублювання всієї моделі на кожному GPU
    • Призначення різних рівнів (етапів) різним GPU
    • Квантування ваг для зниження точності
  4. Який етап ZeRO забезпечує найбільше заощадження пам’яті завдяки шардингу самих параметрів моделі?
    • Етап 1
    • Етап 2
    • Етап 0
    • Етап 3
  5. Що дає «контрольна точка активації» для збереження пам’яті під час навчання?
    • Додаткові обчислення шляхом повторного обчислення активацій під час проходу назад
    • Точність моделі
    • Пропускна здатність мережі
    • Кількість шарів
  6. Чому поєднання цих методів часто називають «3D-паралелізмом»?
    • Він працює лише на 3D-графічних картах
    • Він поєднує паралельність даних, тензорів і конвеєрів уздовж трьох осей
    • Він використовує максимум три GPU
    • Він відображає моделі в трьох вимірах
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Етап 0
    • Етап 2
    • Етап 1
    • Етап 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget