Вікторина, пов’язана з посібником · важко Рівень

Паралельний тест із повністю сегментованими даними

Охоплює сегментування FSDP, збір і зменшення розсіювання, перекривання зв’язку та компроміси між пам’яттю та мережею у великій розподіленій моделі навчання.

Пов'язані напрямні шляхиПовністю розділені дані паралельно
Питання 1 з 8

Що FSDP розподіляє між GPU, а стандартний паралелізм даних НІ?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що FSDP розподіляє між GPU, а стандартний паралелізм даних НІ?
    • Параметри, градієнти та стани оптимізатора
    • Тільки вхідні партії
    • Тільки навчальний графік курсів
    • Файли навчального набору даних на диску
  2. Яку колективну операцію використовує FSDP для реконструкції повних ваг шару безпосередньо перед його обчисленням?
    • Лише трансляція
    • Всі-збираються
    • Скаттер
    • Бар'єр
  3. Чому FSDP звільняє зібрані повні ваги відразу після обчислення рівня?
    • Пошкодити невикористані градієнти
    • Щоб примусово виконувати повільніший тренувальний цикл
    • Щоб постійна пам’ять займала лише один шард на пристрій
    • Тому що PyTorch видаляє їх випадковим чином
  4. Яким попереднім підходом до оптимізації пам’яті в основному був натхненний FSDP?
    • MapReduce від Google
    • Apache Spark RDD
    • Ядра CUDA від NVIDIA
    • ZeRO (оптимізатор нульової надлишковості) Microsoft
  5. Як FSDP приховує значну частину затримки мережі від збору ваг?
    • Перекриваючи зв’язок з обчисленнями, попередньо вибираючи параметри наступного рівня
    • Відключивши передачу назад
    • Стискаючи ваги до одного біта
    • Тренуючись лише на ЦП
  6. Яка колективна операція розподіляє комбіновані градієнтні фрагменти назад до їхніх графічних процесорів у зворотному проході?
    • Дублювання всіх на всіх
    • Зменшити-розкидати
    • Копія з одним GPU
    • Тільки для збору
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication