Вікторина, пов’язана з посібником · важко Рівень

Перенесення стану оптимізатора на процесор і тест NVMe

Застосуйте оптимізатор для обліку розвантажуваної пам’яті, розміщення оновлень хосту та компроміси передавання, зокрема, чому розвантаження не видаляє всі виділення GPU.

Пов'язані напрямні шляхиПеренесення стану оптимізатора на CPU та Nvme
Питання 1 з 8

Яка основна мета перенесення станів оптимізатора на ЦП або NVMe?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яка основна мета перенесення станів оптимізатора на ЦП або NVMe?
    • Щоб зробити модель точнішою
    • Щоб зменшити кількість необхідних епох навчання
    • Щоб повністю позбутися від градієнтів
    • Підходить для більших моделей, звільняючи дефіцитну пам’ять GPU
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Яка функція фреймворка популяризувала масштабне розвантаження оптимізатора?
    • Нова функція активації
    • Стиснення зображення JPEG
    • DeepSpeed ZeRO-Offload і ZeRO-Infinity
    • Градієнтне обрізання
  4. Яка основна вартість продуктивності при розвантаженні на ЦП або NVMe?
    • Дані мають передаватись по повільнішим з’єднанням, таким як PCIe, або на диск, додаючи затримку
    • Раніше тренування модель забуває
    • Оптимізатор стає математично невірним
    • Температура GPU падає занадто низько
  5. Як системи розвантаження приховують значну частину затримки передачі?
    • Пропускаючи передачу назад
    • Завдяки накладанню попередньої вибірки даних із поточними обчисленнями GPU
    • Тренуючи лише один параметр за раз
    • Вимкнувши змішану точність
  6. У ZeRO-Offload, де часто виконується крок оптимізатора Адама?
    • Повністю на контролері NVMe
    • На окремому дисплеї GPU
    • На ЦП, використовуючи головні ваги та моменти, які там зберігаються
    • Всередині мережевого комутатора
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time