引導式測驗 · 硬 等級
DeepSpeed 和 Megatron 訓練堆疊測驗
檢查 ZeRO 分片階段、張量和管道並行性、啟動檢查點、卸載和組合 3D 並行訓練。
問題 1 的 8
DeepSpeed 的 ZeRO 優化器的主要目的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- DeepSpeed 的 ZeRO 優化器的主要目的是什麼?
- 跨 GPU 對優化器狀態、梯度和參數進行分片以節省內存
- 壓縮最終模型以進行部署
- 在框架之間轉換模型
- 自動標記訓練數據
- Megatron-LM 中首創的張量並行如何分割模型?
- 透過將不同的圖層放在不同的 GPU 上
- 透過跨 GPU 分割層內的各個矩陣乘法
- 透過為每個 GPU 提供不同批次的數據
- 透過在不同的 GPU 上儲存不同的時間步
- 管道並行與張量並行不同,因為它透過以下方式分割模型:
- 每層內的矩陣切片
- 在每個 GPU 上複製整個模型
- 將不同的層(階段)分配給不同的 GPU
- 量化權重以降低精度
- 哪個 ZeRO 階段透過對模型參數本身進行分片來提供最大的記憶體節省?
- 第一階段
- 第二階段
- 階段0
- 第三階段
- 在訓練過程中,「啟動檢查點」會犧牲什麼來節省記憶體?
- 透過在向後傳遞期間重新計算激活來進行額外計算
- 模型精度
- 網路頻寬
- 層數
- 為什麼這些技術的組合通常被稱為「3D 並行性」?
- 它僅適用於 3D 顯示卡
- 它沿著三個軸結合了數據、張量和管道並行性
- 最多使用三個 GPU
- 它以三個維度渲染模型
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- 階段0
- 第二階段
- 第一階段
- 第三階段
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget