概述
它在前向傳遞中使用離散值,但在計算梯度時假裝該操作是恆等式。
深入探討
某些操作(例如舍入為整數、將權重二值化為 +1/-1 或使用 argmax 選擇頂部類別)的導數幾乎在任何地方都為零並且在跳轉時未定義。零梯度停止學習冷。直通估計器透過解耦前向和後向傳遞來迴避這個問題:向前,它應用真正的硬操作;向後,它只是直接複製傳入的梯度,就好像該操作是身份(或平滑代理)一樣。這個估計是有偏差的,因為真實的梯度確實為零,但在實踐中,這種「假裝它是平滑的」近似可以很好地訓練二值化和量化網絡,這就是為什麼 STE 是高效深度學習的主力。
現實世界的實施
訓練二進制和低位量化神經網絡,以便在手機和邊緣設備上進行高效推理。
透過 VQ-VAE 和神經音頻/影像標記器中的離散碼本查找進行反向傳播。
量化感知訓練,其中權重或激活在前向傳遞過程中捨入為定點。
學習硬注意力或離散門控,其中 argmax 或閾值位於計算路徑中。
直通式估計器的未來
STE 支撐了設備上和能量受限人工智慧所追求的低位和二進制神經網路的激增,並且它對於訓練向量量化模型(如現代圖像和音頻分詞器中使用的模型)至關重要。正在進行的工作尋求更嚴格、偏差更小的梯度估計器,以及為什麼這種粗略近似有效的更好的理論理解。隨著手機和邊緣硬體對微型、快速、量化模型的需求不斷增長,預計 STE 風格的技巧將仍然是基礎,儘管它們存在已知的偏見。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是直通估計器?
直通估計器 (STE) 是一個簡單的技巧,用於訓練包含舍入或閾值化等難以微分的步驟的網路。它在前向傳遞中使用離散值,但在計算梯度時假裝該操作是恆等式。
直通估計器如何處理困難操作?
该指南描述了硬前向传递和代理反向传递。
为什么舍入可以阻止普通的梯度下降?
该指南表示,硬舍入具有零或未定义的导数,可能会停止学习。
直通梯度估計的偏差是多少?
该指南明确指出该近似值是有偏差的。
哪個範例可以使用 STE?
該指南將量化和舍入稱為常見應用。
`x + stop_gradient(hard(x) - x)`在概念上實現了什麼?
该指南给出了这种模式,以在传递恒等梯度时保留硬值。