概述
層刪除是最激進的版本,刪除完整的變壓器塊以縮小深度。
深入探討
非結構化修剪將各個權重歸零,但充滿分散零的矩陣仍然在 GPU 上全速運行,因為硬體不會跳過它們。相反,結構化剪枝會刪除相干塊、整個注意力頭、前饋神經元、通道或整個層,這實際上會縮小張量並產生真正的加速,而無需特殊的稀疏內核。層丟棄將這一點推向了最遠:像 LayerDrop 這樣的研究和後來的深度修剪工作表明,許多變壓器層,特別是在中層和上層堆疊中,是令人驚訝的冗餘。您通常可以刪除 20% 到 40% 的圖層,並透過短輪微調或知識提煉來恢復大部分遺失的精確度。重要性是透過層的輸入和輸出之間的角距離(它改變表示的程度)等指標來判斷的。
現實世界的實施
透過修剪圖層,然後微調以恢復準確性,從大型教師那裡提煉出小型、快速的學生模型
刪除翻譯模型中的冗餘注意力頭以減少邊緣設備上的延遲
放棄 LLM 的上部變壓器模組以達到嚴格的移動推理延遲目標
透過修剪到不同的深度和寬度,從一個預先訓練的檢查點創建一系列模型大小
結構化剪枝和層丟棄的未來
結構化和深度剪枝正在成為從一個大型預訓練網絡生成高效模型變體的標準,如寬度和深度剪枝以及從大模型派生小模型的蒸餾管道中所見。預計與量化和路由、針對特定加速器的硬體感知修剪以及決定每個部署針對給定延遲預算削減多少深度或寬度的自動搜尋進行更緊密的整合。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是結構化剪枝和層丟棄?
結構化剪枝刪除了神經網路的整個組件,例如注意力頭、神經元或整個層,因此更精簡的模型在普通硬體上運行得更快。層刪除是最激進的版本,刪除完整的變壓器塊以縮小深度。
為什麼結構化剪枝能夠產生真正的加速,而非結構化剪枝卻常常不能?
刪除整個頭、神經元或層會縮小張量維度,因此標準密集硬體運行的工作量較少,而仍然計算分散的零。
在 Transformer 中什麼是「層丟棄」?
層丟棄會刪除整個變壓器塊,從而削減網路的深度,這是結構化修剪的最激進的形式。
哪一個訊號通常表示變壓器層可以安全掉落?
如果某個層幾乎不改變殘差流(輸入輸出相似度高),則它貢獻很小,並且是刪除的候選層。
結構化剪枝後通常什麼步驟可以恢復準確性?
簡短的微調或蒸餾可以讓剩餘的重量重新吸收修剪單元的功能並恢復大部分損失的品質。
修剪時個人注意力頭通常如何排名?
頭部的重要性是透過它被掩蓋時損失增加的程度來估計的;首先修剪低敏感度的頭部。