技術指南

MoE 服務的專家並行性

專家並行性將專家混合層的前饋專家分佈在設備上。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. MoE 服務專家並行的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它可以減少每個設備所擁有的專家權重,而路由和通訊成本會影響服務是否有效率。

深入探討

專家混合 (MoE) 層用許多較小的網絡(專家)取代一個大型前饋網絡,再加上一個為每個代幣挑選前 k 個(通常是 1 或 2 個)專家的路由器。專家並行 (EP) 將不同的專家置於不同的 GPU 上。在推理時,路由器決定每個令牌需要哪些專家,然後全對所有通訊步驟將令牌洗牌到保存其所選專家的 GPU,運行 FFN,並將結果洗牌回來。這使得模型具有巨大的總參數(稀疏),同時僅激活每個令牌的一小部分(低失敗率)。 Mixtral 8x7B、DeepSeek-V3 和 GPT-OSS 等模型都使用它。困難的部分是專家之間的負載平衡以及每層兩個昂貴的全對全跳躍。

現實世界的實施

透過在每台裝置上放置 8 個專家中的 2-4 個,跨 2-4 個 GPU 提供 Mixtral 8x7B 服務

DeepSeek-V3 使用節點限制路由來限制代幣專家跨越的節點數量,從而減少節點間的全對全

使用 vLLM 或 SGLang 專家並行模式在單一 8-GPU 節點上託管 200B+ 稀疏模型

在混合 EP+TP 部署中將注意力層上的專家並行性與張量並行性結合

MoE 服務專家並行的未來

預計路由和硬體將實現更緊密的協同設計:融合調度-計算-組合內核、可批量處理許多專家的分組 GEMM,以及支援 NVLink/InfiniBand 的全能型。 DeepSeek 的輔助無損平衡和節點限制路由等技術減少了跨節點流量。分解服務將專用於與注意力 GPU 分開的「專家」GPU,並且具有更精細的 top-k 的更大專家數量(數百個)將推動 MoE 走向極端稀疏,同時保持每個代幣成本平坦。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 MoE 服務專家平行測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 MoE 服務的專家平行處理?

專家並行性將專家混合層的前饋專家分佈在設備上。它可以減少每個設備所擁有的專家權重,而路由和通訊成本會影響服務是否有效率。

專家並行在 GPU 上的分佈是什麼?

專家並行性將不同的專家(MoE 層的 FFN 子網路)放置在不同的 GPU 上,因此每個裝置僅擁有專家的子集。

哪種通訊模式對於 MoE 專家並行性至關重要?

每個 MoE 層通常需要一個 all-to-all 來將代幣分發給其專家,並需要另一個 all-to-all 將輸出合併回來。

儘管總參數龐大,為什麼 MoE 仍保持每個代幣的計算量較低?

路由器僅啟動每個令牌的前 k 個專家(通常是 1-2 個),因此即使模型總共有許多專家,FLOP 仍然很小。

由於路由依賴資料會產生什麼問題?

由於路由器的選擇取決於輸入,因此某些專家會比其他專家收到更多的令牌,從而造成負載不平衡和落後者。

為什麼在某些 MoE 實施中使用容量限制和填充?

容量有限的設計可以墊起或放下工作,但也存在無放下的方法。這是一種實施選擇,而不是普遍服務要求。