引導式測驗 · 硬 等級
模型和管道並行性測驗
解釋張量和管道分區、啟動傳輸、微批量調度、管道氣泡和通訊權衡。
問題 1 的 8
模型和管道並行性解決了什麼基本問題?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 模型和管道並行性解決了什麼基本問題?
- 模型太大,無法容納單一 GPU 內存
- 從磁碟載入資料緩慢
- 訓練期間梯度爆炸
- 可用的訓練範例太少
- 張量(層內)並行分割如何運作?
- 它將整個層分配給不同的 GPU
- 它將層內的數學拆分為多個 GPU,就像矩陣乘法一樣
- 它在每個 GPU 上複製每一層
- 為了冗餘,每層運行兩次
- 簡單的管道並行性中的「泡沫」是什麼?
- 隨著時間的推移,記憶體洩漏會越來越嚴重
- 優化器狀態的重複副本
- 下游 GPU 等待上游階段產生活化的空閒時間
- 梯度值出現峰值
- 管道並行如何減少氣泡?
- 透過使用較小的學習率
- 透過從模型中刪除一些圖層
- 透過將激活儲存在 CPU 上
- 透過將每個批次分成微批次,以交錯的方式流經各個階段
- 為什麼張量並行性通常保留在單一節點內?
- 因為它頻繁地對部分結果進行全歸約得益於 NVLink 等快速節點內鏈接
- 因為不需要任何溝通
- 因為節點根本無法共享數據
- 因為它只支援一個GPU
- 哪個框架因 Transformer 訓練中的張量並行性而聞名?
- scikit學習
- NVIDIA威震天-LM
- 開放式電腦視覺
- 貓熊
- What data must move between stages in pipeline parallelism during a forward pass?
- The entire training dataset after each layer
- Only the optimizer’s learning rate
- Activation tensors produced by one stage and consumed by the next
- No data, because stages are independent models
- Why does tensor parallelism often require fast communication within its group?
- It assigns each GPU a separate dataset and never synchronizes
- It communicates only once when the model is loaded
- It uses no cross-device operations
- Devices exchange partial results or activations within layers during computation