引導式測驗 · 硬 等級

MoE 服務測驗的專家並行性

測試 MoE 專家放置、代幣分配和負載不平衡,包括所選專家和通訊如何影響分散式推理。

問題 1 的 8

專家並行在 GPU 上的分佈是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 專家並行在 GPU 上的分佈是什麼?
    • 完整模型的副本以實現冗餘
    • 僅限個人關注頭
    • MoE層的不同前饋專家
    • 嵌入表的層數
  2. 哪種通訊模式對於 MoE 專家並行性至關重要?
    • 兩次全對全交換(調度和合併)
    • 單次廣播
    • 點對點梯度同步
    • 無需溝通
  3. 儘管總參數龐大,為什麼 MoE 仍保持每個代幣的計算量較低?
    • 它將權重壓縮到 1 位
    • 它跳過了注意力層
    • 專家分享他們所有的權重
    • 每個代幣僅運行前 k 個選定的專家
  4. 由於路由依賴資料會產生什麼問題?
    • 梯度爆炸
    • 負載不平衡,一些專家獲得更多代幣
    • 路由器無法訓練
    • 代幣失去了位置嵌入
  5. 為什麼在某些 MoE 實施中使用容量限制和填充?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. 系統如何隱藏所有步驟的延遲?
    • 透過在 CPU 上運行
    • 透過刪除組合步驟
    • 透過提高學習率
    • 透過與專家計算重疊通信
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory