引導式測驗 · 中等 等級

NVLink 和 GPU 互連測驗

回顧 GPU 擴充鏈路、NVSwitch 結構、集體通訊以及機架鏈路和叢集網路之間的差異。

相關引導路徑Nvlink 和 GPU 互連
問題 1 的 8

為什麼大型 AI 車型需要像 NVLink 這樣的高速互連?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼大型 AI 車型需要像 NVLink 這樣的高速互連?
    • 因為最大的模型分佈在許多必須不斷交換資料的 GPU 上
    • 因為一個GPU總是夠用但很孤獨
    • 因為GPU需要連接印表機
    • 因為模型儲存在互連本身上
  2. 與標準 PCIe 總線相比,NVLink 在 GPU 間通訊方面具有哪些優勢?
    • 速度較慢但較便宜
    • 更高的頻寬和更低的延遲
    • 它只能在 GPU 和 CPU 之間運作
    • 它消除了對任何記憶體的需要
  3. NVSwitch 在多 GPU 伺服器中的作用是什麼?
    • 它透過風扇冷卻 GPU
    • 它儲存作業系統
    • 它充當高速交叉開關,因此每個 GPU 都可以以全頻寬存取其他 GPU
    • 它轉換來自牆壁插座的電源
  4. 分散式訓練中常見的哪一種集體操作可以從快速互連中受益匪淺?
    • 將硬碟進行碎片整理
    • 渲染單一像素
    • 編譯原始碼
    • All-reduce,對 GPU 上的梯度求和
  5. 除了一台伺服器之外,通常還有哪些技術將數千個 GPU 節點連接到一個叢集中?
    • InfiniBand 和乙太網路 RDMA
    • USB 連接線和 Wi-Fi
    • 藍牙和 HDMI
    • 撥接數據機
  6. 像 NVIDIA 的 NVL72 這樣的機架級系統可以實現什麼?
    • 它是一個小盒子裡的單一 GPU
    • 它將數十個 GPU 連接到一個統一的 NVLink 域
    • 它用硬體取代了所有軟體
    • 它是一種冷卻液
  7. Why can a fast GPU fabric improve distributed data-parallel training?
    • It removes the need to compute gradients
    • It converts training into a database lookup
    • It can reduce the time spent exchanging gradients in collectives such as all-reduce
    • It prevents GPUs from synchronizing
  8. How does an NVLink scale-up fabric differ from InfiniBand or Ethernet used across a cluster?
    • NVLink is only a file format
    • InfiniBand runs inside a GPU’s tensor core
    • Ethernet is used only for local memory access
    • NVLink connects GPUs within supported systems or rack domains; InfiniBand and Ethernet commonly connect cluster nodes