深度的混合
深度混合 (MoD) 讓轉換器在不同的令牌上花費不同的計算量，透過每層的繁重計算僅路由「重要」令牌。
概述
It cuts the cost of processing easy tokens while keeping a fixed, predictable compute budget.
深入探討
標準轉換器將每一層應用於每個標記，甚至是諸如標點符號之類的瑣碎標記。 Mixture of Depths 由 Google DeepMind 在 2024 年引入，在每個區塊中添加小型路由器，選擇固定的 top-k 部分令牌來進行完整的自註意力和 MLP 計算；其餘的透過剩餘連接跳過該區塊。由於每層僅處理 k 個令牌，因此總計算量 (FLOP) 受到限制並提前已知，這與早期不可預測變化的動態深度方法不同。這使得批次和硬體利用更加高效。經過 MoD 訓練的模型可以在每次前向傳遞中使用更少的 FLOP 來匹配基線變壓器的質量，或者在相同的計算下達到更高的質量，並且這個想法可以與專家混合自然地組合，以提供在深度和寬度上路由的“MoDE”模型。
技術洞察
在每個 MoD 區塊中，學習的線性路由器對每個標記進行評分，並按分數保留前 k 個標記；選定的令牌透過注意力和 MLP，而未選定的令牌則透過剩餘路徑不變地繼續前進。使用固定的 top-k（而不是每個令牌閾值）使計算圖靜態且張量形狀恆定，這是硬體友好的。路由器與網路的其餘部分一起進行訓練，並且因果生成使用輔助預測器，因此路由決策不會窺視未來的令牌。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
深度混合的未來
隨著模型規模的擴大，條件計算是提高效率的主要槓桿，而 MoD 就是一個早期的、乾淨的例子。期望與專家混合（深度和專家路由）進行更深入的集成，為簡單輸入而縮小的自適應預算，以及更好地識別哪些令牌真正需要深度處理的學習路由器。由於推理成本在部署經濟中占主導地位，讓模型僅在需要時“更努力地思考”，同時保持可預測延遲的技術可能會成為大規模架構中的標準。
現實世界的實施
透過跳過填充標記的深度計算來減少處理長文檔所需的 FLOP
以較低的計算量訓練與基線品質相符的模型，從而降低服務成本
與專家混合 (MoDE) 相結合，在層深度和專家選擇上進行路由
保持每個令牌的可預測、固定延遲，因為每層計算預算是提前固定的
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of Depths quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Mixture of Depths?
深度混合 (MoD) 讓轉換器在不同的令牌上花費不同的計算量，透過每層的繁重計算僅路由「重要」令牌。它降低了處理簡單代幣的成本，同時保持固定、可預測的計算預算。
不同代幣的深度混合有何不同？
MoD 僅透過每一層的繁重計算路由一些令牌，因此不同的令牌有效地獲得不同的深度。
MoD 如何保持其計算預算可預測？
每個區塊選擇固定的 top-k 代幣可以限制 FLOP 並保持張量形狀不變，這是硬體友好的。
路由器在給定區塊中未選擇的代幣會怎樣？
未選擇的令牌繞過區塊的計算，並由剩餘路徑原封不動地繼續前進。
誰介紹了深度混合？
深度混合是由 Google DeepMind 在 2024 年關於動態變壓器計算的論文中引入的。
將 MoD 與 Mixture-of Experts 結合會產生什麼結果？
將深度路由與專家路由結合以產生“MoDE”模型，該模型可以在層和專家上進行計算。