Тест, свързан с ръководство · трудно Ниво

Разтоварване на състоянието на оптимизатора към CPU и NVMe тест

Приложете отчитане на паметта за разтоварване на оптимизатора, разположение на актуализацията на хоста и компромиси при прехвърляне, включително защо разтоварването не премахва всички разпределения на GPU.

Свързани ръководни пътекиРазтоварване на състоянието на оптимизатора към CPU и Nvme
Въпрос 1 на 8

Каква е основната цел на разтоварването на състоянията на оптимизатора към CPU или NVMe?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната цел на разтоварването на състоянията на оптимизатора към CPU или NVMe?
    • За да направите модела по-точен
    • За да се намали броят на необходимите тренировъчни епохи
    • За да премахнете изцяло нуждата от градиенти
    • За да пасне на по-големи модели чрез освобождаване на ограничена GPU памет
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Коя функция на рамката популяризира широкомащабното разтоварване на оптимизатора?
    • Нова функция за активиране
    • JPEG компресия на изображението
    • DeepSpeed ZeRO-Offload и ZeRO-Infinity
    • Градиентно изрязване
  4. Каква е основната цена на производителността при разтоварване към CPU или NVMe?
    • Данните трябва да се движат през по-бавни връзки като PCIe или към диск, добавяйки латентност
    • Моделът забравя по-ранните тренировки
    • Оптимизаторът става математически неправилен
    • Температурата на GPU пада твърде ниско
  5. Как системите за разтоварване скриват голяма част от латентността на трансфера?
    • Като прескочите подаването назад
    • Чрез припокриване на предварително извличане на данни с текущо изчисление на GPU
    • Като тренирате само един параметър наведнъж
    • Чрез деактивиране на смесената точност
  6. В ZeRO-Offload къде често се изпълнява стъпката на оптимизатора на Adam?
    • Изцяло на NVMe контролера
    • На отделен дисплей GPU
    • На процесора, използвайки основните тегла и моменти, съхранени там
    • Вътре в мрежовия превключвател
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time