Тест, свързан с ръководство · трудно Ниво

DeepSpeed и Megatron Training Stacks Тест

Проверява ZeRO етапите на шардинг, тензорния и конвейерния паралелизъм, контролните точки за активиране, разтоварването и комбинираното 3D паралелно обучение.

Свързани ръководни пътекиDeepspeed и Megatron Training Stacks
Въпрос 1 на 8

Каква е основната цел на ZeRO оптимизатора на DeepSpeed?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната цел на ZeRO оптимизатора на DeepSpeed?
    • За разделяне на състояния, градиенти и параметри на оптимизатора между GPU, за да спестите памет
    • За компресиране на крайния модел за внедряване
    • За превод на модели между рамки
    • За автоматично етикетиране на данни за обучение
  2. Тензорният паралелизъм, както е пионер в Megatron-LM, как разделя модела?
    • Чрез поставяне на различни слоеве на различни графични процесори
    • Чрез нарязване на отделни умножения на матрици в рамките на слой между GPU
    • Като предоставя на всеки GPU различен пакет от данни
    • Чрез съхраняване на различни времеви стъпки на различни графични процесори
  3. Паралелизмът на тръбопровода се различава от тензорния паралелизъм, защото разделя модела по:
    • Нарязване на матрици във всеки слой
    • Дублиране на целия модел на всеки GPU
    • Присвояване на различни слоеве (етапи) на различни GPU
    • Квантуване на тегла за по-ниска точност
  4. Кой ZeRO етап осигурява най-голямо спестяване на памет чрез шардинг на самите параметри на модела?
    • Етап 1
    • Етап 2
    • Етап 0
    • Етап 3
  5. Какво променя „контролната точка за активиране“, за да спести памет по време на обучение?
    • Допълнителни изчисления чрез преизчисляване на активациите по време на преминаването назад
    • Точност на модела
    • Честотна лента на мрежата
    • Броят на слоевете
  6. Защо комбинирането на тези техники често се нарича „3D паралелизъм“?
    • Работи само на 3D графични карти
    • Той комбинира паралелизъм на данни, тензор и конвейер по три оси
    • Използва максимум три графични процесора
    • Той изобразява модели в три измерения
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Етап 0
    • Етап 2
    • Етап 1
    • Етап 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget