引導式測驗 · 硬 等級

優化器狀態卸載到 CPU 和 NVMe 測驗

應用優化器卸載記憶體會計、主機更新放置和傳輸權衡,包括為什麼卸載不會刪除所有 GPU 分配。

問題 1 的 8

將優化器狀態卸載到 CPU 或 NVMe 的主要目標是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 將優化器狀態卸載到 CPU 或 NVMe 的主要目標是什麼?
    • 為了使模型更準確
    • 減少所需的訓練時期數
    • 完全消除對漸變的需要
    • 透過釋放稀缺的 GPU 記憶體來適應更大的模型
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. 哪個框架功能普及了大規模優化器卸載?
    • 新的激活函數
    • JPEG 影像壓縮
    • DeepSpeed ZeRO-Offload 和 ZeRO-Infinity
    • 漸層裁切
  4. 卸載到 CPU 或 NVMe 的主要效能成本是什麼?
    • 資料必須透過 PCIe 等較慢的連結傳輸或傳輸到磁碟,從而增加延遲
    • 模型忘記了之前的訓練
    • 優化器在數學上變得不正確
    • GPU溫度降得太低
  5. 卸載系統如何隱藏大部分傳輸延遲?
    • 透過跳過向後傳遞
    • 透過將資料預取與正在進行的 GPU 運算重疊
    • 一次僅訓練一個參數
    • 透過禁用混合精度
  6. 在ZeRO-Offload中,Adam優化器步驟經常在哪裡執行?
    • 完全位於 NVMe 控制器上
    • 在單獨的顯示 GPU 上
    • 在CPU上,使用儲存在那裡的主權重和力矩
    • 網路交換器內部
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time