概述
在訓練深度網路時，誤差訊號在向後傳播多個層時會縮小到零或放大到無限大。這使得深度和循環模型的訓練速度非常緩慢，或者在沒有特定修復的情況下不可能進行訓練。
梯度消失和爆炸是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
神經網路透過反向傳播進行學習，反向傳播使用鍊式法則將梯度逐層相乘。當您堆疊許多層時，這些每層因素會相乘。如果每個因子始終小於 1，則乘積會呈指數級縮小，且早期層幾乎不會更新—即梯度消失問題。如果每個因子都大於 1，產物就會爆炸，產生巨大的不穩定更新或 NaN 值。 sigmoid 和 tanh 等飽和活化函數的導數最大值為 0.25 和 1，是典型的罪魁禍首。這個問題在深度前饋網路和處理長序列的循環網路（RNN）中最為嚴重，其中在每個時間步都重新應用相同的權重矩陣，從而顯著地複合了效果。
技術洞察
在反向傳播中，早期層的梯度是許多雅可比行列式和權重項的乘積。粗略地說，訊號的縮放比例就像提升到深度的每層因子一樣。低於 1 的值向零衰減；超過 1 的值無限增長。對於在 T 個步驟上展開的 RNN，主項的行為類似於循環權重的 T 次方的最大特徵值，因此即使與 1 的微小偏差也會在長序列上消失或爆炸。
掌握梯度消失和爆炸
在訓練深度網路時，誤差訊號在向後傳播多個層時會縮小到零或放大到無限大。這使得深度和循環模型的訓練速度非常緩慢，或者在沒有特定修復的情況下不可能進行訓練。梯度消失和爆炸是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。為了建立深入的理解，請將梯度消失和爆炸視為操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，強大的團隊使用消失梯度和爆炸梯度來根據可靠性和成本優化架構、資料和基礎設施選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
早期的 RNN 語言模型很難連接長句子中的單詞，因為梯度在許多時間步長中消失，激發了 LSTM 和 GRU。
ResNet 透過添加跳躍連接來訓練 100 多層圖像分類器，為梯度提供直接、未稀釋的向後路徑。
開發人員發現訓練損失突然變為 NaN（梯度爆炸的明顯跡象），並添加梯度裁剪來穩定它。
PyTorch 或 TensorFlow 中的監控工具繪製每層梯度範數，以便工程師可以發現梯度已崩潰至接近零的層。
實施模式
梯度消失和爆炸的實踐
早期的 RNN 語言模型很難連接長句子中的單詞，因為梯度在許多時間步長中消失，激發了 LSTM 和 GRU。
早期的 RNN 語言模型很難連接長句子中的單詞，因為梯度在許多時間步長中消失，這激勵 LSTM 和 GRU 團隊在預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時通常會獲得更好的結果。
梯度消失和爆炸的實踐
ResNet 透過添加跳躍連接來訓練 100 多層圖像分類器，為梯度提供直接、未稀釋的向後路徑。
ResNet 透過添加跳躍連接來實現 100 多個層圖像分類器的訓練，為梯度提供直接、未稀釋的向後路徑。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
梯度消失和爆炸的實踐
開發人員發現訓練損失突然變為 NaN（梯度爆炸的明顯跡象），並添加梯度裁剪來穩定它。
開發人員發現訓練損失突然變為 NaN（梯度爆炸的明顯跡象），並添加梯度剪切來穩定它。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
梯度消失和爆炸的實踐
PyTorch 或 TensorFlow 中的監控工具繪製每層梯度範數，以便工程師可以發現梯度已崩潰至接近零的層。
PyTorch 或 TensorFlow 中的監控工具繪製每層梯度規範，以便工程師可以發現梯度已崩潰至接近零的層。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。