引導式測驗 · 中等 等級
NVLink 和 GPU 互連測驗
回顧 GPU 擴充鏈路、NVSwitch 結構、集體通訊以及機架鏈路和叢集網路之間的差異。
問題 1 的 8
為什麼大型 AI 車型需要像 NVLink 這樣的高速互連?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼大型 AI 車型需要像 NVLink 這樣的高速互連?
- 因為最大的模型分佈在許多必須不斷交換資料的 GPU 上
- 因為一個GPU總是夠用但很孤獨
- 因為GPU需要連接印表機
- 因為模型儲存在互連本身上
- 與標準 PCIe 總線相比,NVLink 在 GPU 間通訊方面具有哪些優勢?
- 速度較慢但較便宜
- 更高的頻寬和更低的延遲
- 它只能在 GPU 和 CPU 之間運作
- 它消除了對任何記憶體的需要
- NVSwitch 在多 GPU 伺服器中的作用是什麼?
- 它透過風扇冷卻 GPU
- 它儲存作業系統
- 它充當高速交叉開關,因此每個 GPU 都可以以全頻寬存取其他 GPU
- 它轉換來自牆壁插座的電源
- 分散式訓練中常見的哪一種集體操作可以從快速互連中受益匪淺?
- 將硬碟進行碎片整理
- 渲染單一像素
- 編譯原始碼
- All-reduce,對 GPU 上的梯度求和
- 除了一台伺服器之外,通常還有哪些技術將數千個 GPU 節點連接到一個叢集中?
- InfiniBand 和乙太網路 RDMA
- USB 連接線和 Wi-Fi
- 藍牙和 HDMI
- 撥接數據機
- 像 NVIDIA 的 NVL72 這樣的機架級系統可以實現什麼?
- 它是一個小盒子裡的單一 GPU
- 它將數十個 GPU 連接到一個統一的 NVLink 域
- 它用硬體取代了所有軟體
- 它是一種冷卻液
- Why can a fast GPU fabric improve distributed data-parallel training?
- It removes the need to compute gradients
- It converts training into a database lookup
- It can reduce the time spent exchanging gradients in collectives such as all-reduce
- It prevents GPUs from synchronizing
- How does an NVLink scale-up fabric differ from InfiniBand or Ethernet used across a cluster?
- NVLink is only a file format
- InfiniBand runs inside a GPU’s tensor core
- Ethernet is used only for local memory access
- NVLink connects GPUs within supported systems or rack domains; InfiniBand and Ethernet commonly connect cluster nodes