技術指南

專家薈萃

Sparse Mixture of Experts layers use a router to select a subset of expert networks for each token.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 專家混合的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

This separates total expert capacity from the selected expert computation, while memory, routing, and communication still affect cost.

深入探討

A standard transformer runs every input through the same dense layers, so making the model smarter usually means making every computation more expensive. Mixture of Experts breaks that link. It replaces the big feed-forward layer with many smaller 'expert' networks plus a small 'router' that decides which experts handle each token. Typically only the top 1 or 2 experts fire, so a model can have hundreds of billions of total parameters but only activate a small fraction per token. This is why models like Mixtral 8x7B and Switch Transformer reach high quality without proportionally high inference cost. The trade-off is complexity: all expert weights need accessible storage, potentially spread across devices or offloaded, and the router can misroute or overload some experts, so training and serving require careful routing and resource management.

現實世界的實施

Mixtral 8x7B 使用 8 個專家,每個令牌啟動 2 個專家,總共提供大約 47B 個參數,但每個令牌只有約 13B 個活躍參數,以實現更快、更便宜的推理。

DeepSeek 和 Qwen 提供了大型 MoE 語言模型,可在基準測試中匹配密集模型,同時以較低的每個代幣計算運行。

雲端 LLM 提供者使用 MoE,因此一個龐大的模型可以經濟實惠地為許多用戶提供服務,因為每個請求只能滿足少數專家的需求。

Google 的早期 Switch Transformer 使用 top-1 路由擴展到超過一兆個參數,以維持訓練運算的可管理性。

專家混合的未來

MoE 正在成為前沿規模模型的預設工具,因為它將容量與成本脫鉤。期望有更細粒度的專家、考慮更多上下文的更聰明的路由,以及在有限的硬體上為巨大的稀疏模型提供更好的技術。研究也正在解決記憶體問題,因為即使很少有專家運行,也必須透過專家卸載和量化來載入所有專家。隨著 Mixtral 和 DeepSeek-MoE 等開放式模型的成熟,稀疏架構可能會在更小的 GPU 預算上提供更有效率的助理。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Mixture of Experts quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是專家混合?

Sparse Mixture of Experts layers use a router to select a subset of expert networks for each token. This separates total expert capacity from the selected expert computation, while memory, routing, and communication still affect cost.

在專家混合層中,什麼決定哪些專家處理給定的代幣?

一個小型門控網路學習對每個專家的令牌進行評分,並將其路由給得分最高的專家。路由是學習的,不是固定的或隨機的。

為什麼 MoE 模型的總參數比密集模型多得多,而每個代幣的成本卻沒有相應增加?

因為只有前 k 個專家才會觸發每個代幣,所以即使總參數計數因添加更多專家而增加,活動計算也大致保持不變。

MoE 訓練期間負載平衡(輔助)損失解決什麼問題?

如果沒有平衡,路由器往往會偏向少數專家。輔助損失會懲罰不均勻的使用,因此所有專家都會接受訓練。

Mixtral 8x7B 每個代幣都會啟動 8 個專家中的 2 個。這對於它的計算量和大小意味著什麼?

由於 8 個專家中只有 2 個處於活動狀態,每個代幣的活動參數 (~13B) 遠小於總的~47B,從而降低了推理成本。

Why can a sparse MoE still have substantial memory or storage requirements?

Sparse activation reduces selected computation, but expert weights must still be stored or fetched, whether resident, distributed, or offloaded.