概述
這將模型大小與計算成本分離,從而使大型模型能夠保持快速且廉價的運行速度。
深入探討
條件計算意味著網路根據資料做出有關使用哪些子模組的決策。一個小型的學習「門控」或「路由器」網路會查看每個輸入(通常是每個令牌)並產生分數,選擇將其發送給哪些「專家」。在專家混合 (MoE) 層中,存在數十或數百個專家子網絡,但路由器僅選擇每個令牌的前一兩個專家子網絡,因此大多數專家對於任何給定輸入都保持空閒狀態。結果是一個總參數數量巨大但活動數量較少的模型,以小得多的運行時成本提供了巨型模型的表徵能力。這就是 Switch Transformer、GLaM 和許多前沿大型語言模型等模型如何以經濟實惠的方式擴展到數萬億個參數的方式。
現實世界的實施
Switch Transformer 將每個代幣路由到單一專家,擴展到超過一兆個參數,同時保持每個代幣的計算量較低。
使用專家混合層的前沿大型語言模型,因此每個令牌僅啟動一小部分權重。
提前退出的影像分類器在處理簡單影像時停在淺層,僅在處理困難影像時才運行更深的層。
多語言模型,其路由器學習將不同語言的令牌發送給不同的專業專家。
條件計算中門控和路由的未來
稀疏門控現在是擴展前沿模型的核心,趨勢是朝向更細緻的專家、更智慧的路由器和多層路由發展。期望更好的技術來實現穩定的訓練,當專家分佈在許多加速器上時減少通訊開銷,以及「專家專業化」分析以了解每個專家學到了什麼。條件計算也從 MoE 擴展到早期退出網路和動態深度模型,這些模型僅在更困難的輸入上花費更多計算。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是條件計算中的門控和路由?
門控和路由讓神經網路僅啟動每個輸入所需的部分,而不是每次都運行整個模型。這將模型大小與計算成本分離,從而使大型模型能夠保持快速且廉價的運行速度。
What is conditional computation?
The guide defines data-dependent selection of submodules as conditional computation.
In a mixture-of-experts layer, what does the router do?
The guide says a learned router selects experts based on its input.
What is active parameter count?
Sparse routing can activate only part of the total parameter set per input.
Why can routing be computationally efficient?
The guide explains that most experts can remain idle for a particular token.
What is expert load imbalance?
The guide notes routers can favor a few experts, leaving others underused.