概述
它降低了處理簡單代幣的成本,同時保持固定、可預測的計算預算。
深入探討
標準轉換器將每一層應用於每個標記,甚至是諸如標點符號之類的瑣碎標記。 Mixture of Depths 由 Google DeepMind 在 2024 年引入,在每個區塊中添加小型路由器,選擇固定的 top-k 部分令牌來進行完整的自註意力和 MLP 計算;其餘的透過剩餘連接跳過該區塊。由於每層僅處理 k 個令牌,因此總計算量 (FLOP) 受到限制並提前已知,這與早期不可預測變化的動態深度方法不同。這使得批次和硬體利用更加高效。經過 MoD 訓練的模型可以在每次前向傳遞中使用更少的 FLOP 來匹配基線變壓器的質量,或者在相同的計算下達到更高的質量,並且這個想法可以與專家混合自然地組合,以提供在深度和寬度上路由的“MoDE”模型。
現實世界的實施
透過跳過填充標記的深度計算來減少處理長文檔所需的 FLOP
以較低的計算量訓練與基線品質相符的模型,從而降低服務成本
與專家混合 (MoDE) 相結合,在層深度和專家選擇上進行路由
保持每個令牌的可預測、固定延遲,因為每層計算預算是提前固定的
深度混合的未來
隨著模型規模的擴大,條件計算是提高效率的主要槓桿,而 MoD 就是一個早期的、乾淨的例子。期望與專家混合(深度和專家路由)進行更深入的集成,為簡單輸入而縮小的自適應預算,以及更好地識別哪些令牌真正需要深度處理的學習路由器。由於推理成本在部署經濟中占主導地位,讓模型僅在需要時“更努力地思考”,同時保持可預測延遲的技術可能會成為大規模架構中的標準。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是深度混合?
深度混合 (MoD) 讓轉換器在不同的令牌上花費不同的計算量,透過每層的繁重計算僅路由「重要」令牌。它降低了處理簡單代幣的成本,同時保持固定、可預測的計算預算。
不同代幣的深度混合有何不同?
MoD 僅透過每一層的繁重計算路由一些令牌,因此不同的令牌有效地獲得不同的深度。
MoD 如何保持其計算預算可預測?
每個區塊選擇固定的 top-k 代幣可以限制 FLOP 並保持張量形狀不變,這是硬體友好的。
路由器在給定區塊中未選擇的代幣會怎樣?
未選擇的令牌繞過區塊的計算,並由剩餘路徑原封不動地繼續前進。
哪個實驗室發表了深度混合技術?
深度混合是由 Google DeepMind 在 2024 年關於動態變壓器計算的論文中引入的。
將 MoD 與 Mixture-of Experts 結合會產生什麼結果?
將深度路由與專家路由結合以產生“MoDE”模型,該模型可以在層和專家上進行計算。