Тест, свързан с ръководство · трудно Ниво

Тест за ZeRO и Sharded Optimizers

Обхваща ZeRO етапи, памет на състоянието на Adam, събиране на параметри, намаляване на градиента, опции за разтоварване и разходи за комуникация.

Свързани ръководни пътекиНулеви и разделени оптимизатори
Въпрос 1 на 8

Какво излишък елиминира ZeRO в сравнение с обикновения паралелизъм на данните?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво излишък елиминира ZeRO в сравнение с обикновения паралелизъм на данните?
    • Дублирайте пълни копия на състоянието на оптимизатора, градиентите и параметрите на всеки GPU
    • Дублирани копия на данните за обучение на всеки GPU
    • Излишни мрежови кабели между възлите
    • Повтарящи се минавания напред върху същата партида
  2. Защо състоянието на оптимизатора често е най-голямата загуба на памет при Адам?
    • Адам изобщо не съхранява допълнително състояние
    • Адам запазва допълнителни стойности на параметър (като импулс и дисперсия), често няколко пъти размера на модела
    • Адам дублира целия набор от данни
    • Адам изисква съхраняване на всеки минал градиент завинаги
  3. Какво ZeRO Stage 3 разделя, което етапи 1 и 2 не правят?
    • Данните за обучението
    • Функцията на загубата
    • Самите параметри на модела
    • Графикът на скоростта на обучение
  4. В ZeRO Stage 3, как GPU получава пълните параметри, от които се нуждае за преминаване напред на даден слой?
    • Никога не се нуждае от пълните параметри
    • Изтегля ги от интернет
    • Всеки път ги преизчислява от нулата
    • Той извършва цялостно събиране, за да събере липсващите парчета, след което ги изхвърля след това
  5. Коя функция на PyTorch естествено внедрява шардинг в стил ZeRO?
    • FSDP (паралелни напълно разделени данни)
    • DataLoader
    • TorchScript
    • Автоград
  6. Какъв е основният компромис, който ZeRO прави, за да спести памет?
    • Той жертва точността на модела за скорост
    • Добавя допълнителна комуникация за събиране и разпръскване на фрагменти, ако е необходимо
    • Той премахва слоевете от модела
    • Работи само с много малки модели
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients