Тест, свързан с ръководство · трудно Ниво

Паралелен тест с напълно разделени данни

Обхваща FSDP шардинг, събиране на всички и намаляване на разпръскване, комуникационно припокриване и компромиси между паметта и мрежата при обучение на голям разпределен модел.

Свързани ръководни пътекиПаралел на напълно разделени данни
Въпрос 1 на 8

Какво FSDP разделя между GPU, което стандартният паралелизъм на данни НЕ прави?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво FSDP разделя между GPU, което стандартният паралелизъм на данни НЕ прави?
    • Параметри, градиенти и състояния на оптимизатора
    • Само входните партиди
    • Само графикът на курса на обучение
    • Файловете с набор от данни за обучение на диск
  2. Коя колективна операция използва FSDP, за да реконструира пълните тегла на слой точно преди да го изчисли?
    • Само за излъчване
    • Всички се събират
    • Скатер
    • Бариера
  3. Защо FSDP освобождава събраните пълни тегла веднага след изчислението на слоя?
    • За повреждане на неизползваните градиенти
    • За да принудите по-бавна тренировъчна верига
    • За да запазите постоянния отпечатък на паметта само до един шард на устройство
    • Защото PyTorch ги изтрива на случаен принцип
  4. FSDP до голяма степен е вдъхновен от кой по-ранен подход за оптимизиране на паметта?
    • MapReduce на Google
    • Apache Spark RDD
    • CUDA ядрата на NVIDIA
    • ZeRO на Microsoft (оптимизатор за нулево излишък)
  5. Как FSDP скрива голяма част от латентността на мрежата от събиране на тежести?
    • Чрез припокриване на комуникация с изчисление, предварително извличане на параметрите на следващия слой
    • Като деактивирате преминаването назад
    • Чрез компресиране на тегла до един бит
    • Чрез обучение само на процесора
  6. Коя колективна операция разпределя комбинирани градиентни срезове обратно към притежаващите ги графични процесори при преминаване назад?
    • Дублиране от всички към всички
    • Намаляване-разпръскване
    • Копие с един GPU
    • Само събиране
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication