引導式測驗 · 硬 等級
MoE 服務測驗的專家並行性
測試 MoE 專家放置、代幣分配和負載不平衡,包括所選專家和通訊如何影響分散式推理。
問題 1 的 8
專家並行在 GPU 上的分佈是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 專家並行在 GPU 上的分佈是什麼?
- 完整模型的副本以實現冗餘
- 僅限個人關注頭
- MoE層的不同前饋專家
- 嵌入表的層數
- 哪種通訊模式對於 MoE 專家並行性至關重要?
- 兩次全對全交換(調度和合併)
- 單次廣播
- 點對點梯度同步
- 無需溝通
- 儘管總參數龐大,為什麼 MoE 仍保持每個代幣的計算量較低?
- 它將權重壓縮到 1 位
- 它跳過了注意力層
- 專家分享他們所有的權重
- 每個代幣僅運行前 k 個選定的專家
- 由於路由依賴資料會產生什麼問題?
- 梯度爆炸
- 負載不平衡,一些專家獲得更多代幣
- 路由器無法訓練
- 代幣失去了位置嵌入
- 為什麼在某些 MoE 實施中使用容量限制和填充?
- To control expert buffer sizes and make computation shapes more predictable
- To require every expert to process every token
- To eliminate all token routing
- To guarantee that every MoE system drops tokens
- 系統如何隱藏所有步驟的延遲?
- 透過在 CPU 上運行
- 透過刪除組合步驟
- 透過提高學習率
- 透過與專家計算重疊通信
- A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
- Run every expert in the model regardless of routing
- Dispatch its representation to the selected experts and combine their outputs
- Replace both expert networks with an attention head
- Drop the token solely because it selected two devices
- One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
- The total expert parameter count automatically doubles
- The router’s outputs become attention positions
- The overloaded expert becomes a straggler while other devices wait
- All other experts are removed from memory