Разгрузка состояния оптимизатора на ЦП и NVMe. Викторина

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная цель разгрузки состояний оптимизатора на ЦП или NVMe?
   • Чтобы модель была более точной
   • Чтобы уменьшить количество необходимых эпох обучения
   • Чтобы полностью исключить необходимость в градиентах
   • Подходит для более крупных моделей за счет освобождения дефицитной памяти графического процессора.
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. Какая функция фреймворка способствовала популяризации крупномасштабной разгрузки оптимизатора?
   • Новая функция активации
   • Сжатие изображений JPEG
   • DeepSpeed ZeRO-Offload и ZeRO-Infinity
   • Градиентное отсечение
4. Какова основная стоимость производительности при разгрузке на ЦП или NVMe?
   • Данные должны передаваться по более медленным каналам, таким как PCIe, или на диск, что увеличивает задержку.
   • Модель забывает предыдущее обучение
   • Оптимизатор становится математически некорректным
   • Температура графического процессора падает слишком низко
5. Как системы разгрузки скрывают большую часть задержки передачи?
   • Пропуская обратный проход
   • Путем перекрытия предварительной выборки данных с текущими вычислениями на графическом процессоре.
   • Обучая только один параметр за раз
   • Отключив смешанную точность
6. Где в ZeRO-Offload часто выполняется шаг оптимизатора Адама?
   • Полностью на контроллере NVMe
   • На отдельном дисплее GPU
   • На ЦП, используя хранящиеся там основные веса и моменты.
   • Внутри сетевого коммутатора
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time