引導式測驗 · 硬 等級
ZeRO 與分片優化器測驗
涵蓋 ZeRO 階段、Adam 狀態記憶體、參數收集、梯度減小、卸載選項和通訊成本。
問題 1 的 8
與普通資料並行相比,ZeRO 消除了哪些冗餘?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 與普通資料並行相比,ZeRO 消除了哪些冗餘?
- 在每個 GPU 上複製優化器狀態、梯度和參數的完整副本
- 每個 GPU 上的訓練資料的重複副本
- 節點之間的冗餘網路線
- 對同一批次重複前向傳遞
- 為什麼優化器狀態通常是 Adam 佔用最大記憶體的地方?
- Adam 根本不會儲存額外的狀態
- Adam 保留額外的每個參數值(例如動量和變異數),通常是模型大小的幾倍
- Adam 複製整個資料集
- Adam 要求永遠儲存過去的每個梯度
- ZeRO 第 3 階段分片有哪些第 1 期和第 2 期沒有的分片?
- 訓練資料
- 損失函數
- 模型參數本身
- 學習率表
- 在 ZeRO Stage 3 中,GPU 如何取得層前向傳遞所需的完整參數?
- 它永遠不需要完整的參數
- 它從互聯網下載它們
- 它每次都會從頭開始重新計算它們
- 它執行全收集來收集丟失的切片,然後丟棄它們
- 哪個 PyTorch 功能本身實現了 ZeRO 風格的分片?
- FSDP(完全分片資料並行)
- 資料載入器
- TorchScript
- 自動梯度
- ZeRO 為節省記憶體所做的核心權衡是什麼?
- 為了速度而犧牲模型精度
- 它增加了額外的通信以根據需要收集和分散碎片
- 它從模型中刪除圖層
- 它僅適用於非常小的模型
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients