引導式測驗 · 硬 等級

ZeRO 與分片優化器測驗

涵蓋 ZeRO 階段、Adam 狀態記憶體、參數收集、梯度減小、卸載選項和通訊成本。

問題 1 的 8

與普通資料並行相比,ZeRO 消除了哪些冗餘?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 與普通資料並行相比,ZeRO 消除了哪些冗餘?
    • 在每個 GPU 上複製優化器狀態、梯度和參數的完整副本
    • 每個 GPU 上的訓練資料的重複副本
    • 節點之間的冗餘網路線
    • 對同一批次重複前向傳遞
  2. 為什麼優化器狀態通常是 Adam 佔用最大記憶體的地方?
    • Adam 根本不會儲存額外的狀態
    • Adam 保留額外的每個參數值(例如動量和變異數),通常是模型大小的幾倍
    • Adam 複製整個資料集
    • Adam 要求永遠儲存過去的每個梯度
  3. ZeRO 第 3 階段分片有哪些第 1 期和第 2 期沒有的分片?
    • 訓練資料
    • 損失函數
    • 模型參數本身
    • 學習率表
  4. 在 ZeRO Stage 3 中,GPU 如何取得層前向傳遞所需的完整參數?
    • 它永遠不需要完整的參數
    • 它從互聯網下載它們
    • 它每次都會從頭開始重新計算它們
    • 它執行全收集來收集丟失的切片,然後丟棄它們
  5. 哪個 PyTorch 功能本身實現了 ZeRO 風格的分片?
    • FSDP(完全分片資料並行)
    • 資料載入器
    • TorchScript
    • 自動梯度
  6. ZeRO 為節省記憶體所做的核心權衡是什麼?
    • 為了速度而犧牲模型精度
    • 它增加了額外的通信以根據需要收集和分散碎片
    • 它從模型中刪除圖層
    • 它僅適用於非常小的模型
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients