引導式測驗 · 硬 等級

DeepSpeed 和 Megatron 訓練堆疊測驗

檢查 ZeRO 分片階段、張量和管道並行性、啟動檢查點、卸載和組合 3D 並行訓練。

問題 1 的 8

DeepSpeed 的 ZeRO 優化器的主要目的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. DeepSpeed 的 ZeRO 優化器的主要目的是什麼?
    • 跨 GPU 對優化器狀態、梯度和參數進行分片以節省內存
    • 壓縮最終模型以進行部署
    • 在框架之間轉換模型
    • 自動標記訓練數據
  2. Megatron-LM 中首創的張量並行如何分割模型?
    • 透過將不同的圖層放在不同的 GPU 上
    • 透過跨 GPU 分割層內的各個矩陣乘法
    • 透過為每個 GPU 提供不同批次的數據
    • 透過在不同的 GPU 上儲存不同的時間步
  3. 管道並行與張量並行不同,因為它透過以下方式分割模型:
    • 每層內的矩陣切片
    • 在每個 GPU 上複製整個模型
    • 將不同的層(階段)分配給不同的 GPU
    • 量化權重以降低精度
  4. 哪個 ZeRO 階段透過對模型參數本身進行分片來提供最大的記憶體節省?
    • 第一階段
    • 第二階段
    • 階段0
    • 第三階段
  5. 在訓練過程中,「啟動檢查點」會犧牲什麼來節省記憶體?
    • 透過在向後傳遞期間重新計算激活來進行額外計算
    • 模型精度
    • 網路頻寬
    • 層數
  6. 為什麼這些技術的組合通常被稱為「3D 並行性」?
    • 它僅適用於 3D 顯示卡
    • 它沿著三個軸結合了數據、張量和管道並行性
    • 最多使用三個 GPU
    • 它以三個維度渲染模型
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • 階段0
    • 第二階段
    • 第一階段
    • 第三階段
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget