引導式測驗 · 硬 等級
大型模式的張量平行測驗
檢查張量並行性如何對層矩陣進行分片、組合部分輸出、分割注意力頭以及如何適應多軸並行性。
問題 1 的 8
GPU 之間的張量平行性有何不同?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- GPU 之間的張量平行性有何不同?
- 單層內的權重矩陣
- 整個層放置在單獨的 GPU 上
- 不同的訓練資料集
- 優化器學習率
- 在威震天式 MLP 分割中,兩個權重矩陣如何劃分以最小化通訊?
- 均按列
- 第一個按列,第二個按行
- 均按行排列
- 它們根本沒有分區
- 為什麼張量並行性通常保留在單一節點內?
- 節點無法運行 GPU
- 不同節點中的 GPU 使用不同的數學運算
- 它需要頻繁的高頻寬通信,最好由 NVLink 提供服務
- 這是法律要求
- 在張量並行下,注意力機制通常是如何並行的?
- 透過為每個 GPU 提供冗餘的完整注意力計算
- 完全忽略注意力
- 透過將注意力轉換為卷積
- 透過分割注意力頭,每個 GPU 處理一個子集
- 在張量並行中,什麼集體操作通常會組合部分結果?
- 全部歸約
- 文件副本
- 資料庫連線
- DNS 查找
- 張量並行通常如何適應「3D 並行」?
- 它取代了所有其他形式的並行性
- 它與管道和數據並行相結合
- 它只有在沒有任何其他並行性的情況下才有效
- 它僅用於圖像模型
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates