引導式測驗 · 硬 等級
優化器狀態卸載到 CPU 和 NVMe 測驗
應用優化器卸載記憶體會計、主機更新放置和傳輸權衡,包括為什麼卸載不會刪除所有 GPU 分配。
問題 1 的 8
將優化器狀態卸載到 CPU 或 NVMe 的主要目標是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 將優化器狀態卸載到 CPU 或 NVMe 的主要目標是什麼?
- 為了使模型更準確
- 減少所需的訓練時期數
- 完全消除對漸變的需要
- 透過釋放稀缺的 GPU 記憶體來適應更大的模型
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- 哪個框架功能普及了大規模優化器卸載?
- 新的激活函數
- JPEG 影像壓縮
- DeepSpeed ZeRO-Offload 和 ZeRO-Infinity
- 漸層裁切
- 卸載到 CPU 或 NVMe 的主要效能成本是什麼?
- 資料必須透過 PCIe 等較慢的連結傳輸或傳輸到磁碟,從而增加延遲
- 模型忘記了之前的訓練
- 優化器在數學上變得不正確
- GPU溫度降得太低
- 卸載系統如何隱藏大部分傳輸延遲?
- 透過跳過向後傳遞
- 透過將資料預取與正在進行的 GPU 運算重疊
- 一次僅訓練一個參數
- 透過禁用混合精度
- 在ZeRO-Offload中,Adam優化器步驟經常在哪裡執行?
- 完全位於 NVMe 控制器上
- 在單獨的顯示 GPU 上
- 在CPU上,使用儲存在那裡的主權重和力矩
- 網路交換器內部
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time