引導式測驗 · 硬 等級

大型模式的張量平行測驗

檢查張量並行性如何對層矩陣進行分片、組合部分輸出、分割注意力頭以及如何適應多軸並行性。

問題 1 的 8

GPU 之間的張量平行性有何不同?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. GPU 之間的張量平行性有何不同?
    • 單層內的權重矩陣
    • 整個層放置在單獨的 GPU 上
    • 不同的訓練資料集
    • 優化器學習率
  2. 在威震天式 MLP 分割中,兩個權重矩陣如何劃分以最小化通訊?
    • 均按列
    • 第一個按列,第二個按行
    • 均按行排列
    • 它們根本沒有分區
  3. 為什麼張量並行性通常保留在單一節點內?
    • 節點無法運行 GPU
    • 不同節點中的 GPU 使用不同的數學運算
    • 它需要頻繁的高頻寬通信,最好由 NVLink 提供服務
    • 這是法律要求
  4. 在張量並行下,注意力機制通常是如何並行的?
    • 透過為每個 GPU 提供冗餘的完整注意力計算
    • 完全忽略注意力
    • 透過將注意力轉換為卷積
    • 透過分割注意力頭,每個 GPU 處理一個子集
  5. 在張量並行中,什麼集體操作通常會組合部分結果?
    • 全部歸約
    • 文件副本
    • 資料庫連線
    • DNS 查找
  6. 張量並行通常如何適應「3D 並行」?
    • 它取代了所有其他形式的並行性
    • 它與管道和數據並行相結合
    • 它只有在沒有任何其他並行性的情況下才有效
    • 它僅用於圖像模型
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates