引導式測驗 · 硬 等級

模型和管道並行性測驗

解釋張量和管道分區、啟動傳輸、微批量調度、管道氣泡和通訊權衡。

相關引導路徑模型和管道並行性
問題 1 的 8

模型和管道並行性解決了什麼基本問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 模型和管道並行性解決了什麼基本問題?
    • 模型太大,無法容納單一 GPU 內存
    • 從磁碟載入資料緩慢
    • 訓練期間梯度爆炸
    • 可用的訓練範例太少
  2. 張量(層內)並行分割如何運作?
    • 它將整個層分配給不同的 GPU
    • 它將層內的數學拆分為多個 GPU,就像矩陣乘法一樣
    • 它在每個 GPU 上複製每一層
    • 為了冗餘,每層運行兩次
  3. 簡單的管道並行性中的「泡沫」是什麼?
    • 隨著時間的推移,記憶體洩漏會越來越嚴重
    • 優化器狀態的重複副本
    • 下游 GPU 等待上游階段產生活化的空閒時間
    • 梯度值出現峰值
  4. 管道並行如何減少氣泡?
    • 透過使用較小的學習率
    • 透過從模型中刪除一些圖層
    • 透過將激活儲存在 CPU 上
    • 透過將每個批次分成微批次,以交錯的方式流經各個階段
  5. 為什麼張量並行性通常保留在單一節點內?
    • 因為它頻繁地對部分結果進行全歸約得益於 NVLink 等快速節點內鏈接
    • 因為不需要任何溝通
    • 因為節點根本無法共享數據
    • 因為它只支援一個GPU
  6. 哪個框架因 Transformer 訓練中的張量並行性而聞名?
    • scikit學習
    • NVIDIA威震天-LM
    • 開放式電腦視覺
    • 貓熊
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation