概述
這種違反直覺的彈跳可以加速收斂,並幫助優化器避開尖銳的局部極小值和鞍點。
深入探討
Leslie Smith 在 2015 年提出,循環學習率 (CLR) 挑戰了學習率只會下降的假設。相反,它在固定次數的迭代(“週期”)內在最小和最大界限之間振盪,通常呈三角形。直覺:週期性地提高速率會提供能量爆發,讓模型跳出糟糕的尖銳最小值並穿越鞍點,而低相位則讓它穩定下來。史密斯還引入了「LR範圍測試」——一種在觀察損失的同時向上掃動利率的短期運行——以自動找到良好的界限。三角、衰變三角和著名的單週期政策都建立在這個想法的基礎上。
現實世界的實施
fast.ai 普及了單週期策略,作為在幾個時期內快速訓練影像分類器達到高精度的預設策略。
LR 範圍測試將速率向上掃描數百個批次,以在實際運行之前選擇最小和最大邊界。
快照整合在每個週期結束時保存模型檢查點,從一次訓練運行中產生一個免費的整合。
帶有熱重啟的隨機梯度下降 (SGDR) 會定期將速率重置為高值,以避免急劇最小值。
週期性學習率的未來
循環調度和單週期策略對於視覺和表格任務的快速訓練仍然很流行,LR 範圍測試是一種標準的調優技巧。對於非常大的語言模型,平滑的預熱加餘弦時間表往往占主導地位,但潛在的洞察力——戰略性增加有助於擺脫損失景觀的不良區域——告知熱重啟(SGDR)和在每個週期的低點快照模型的集成方法。期望週期性想法和自適應、自調整調度程序之間持續交叉授粉。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是周期性學習率?
循環學習率在下限和上限之間反覆循環學習率,而不是只是衰減它。這種違反直覺的彈跳可以加速收斂,並幫助優化器避開尖銳的局部極小值和鞍點。
週期性學習率挑戰了什麼核心假設?
CLR故意一次又一次地提高利率,拒絕了它只能單調衰減的傳統觀點。
What did Smith report for cyclical learning rates on tested classification tasks?
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
「LR 範圍測試」有什麼作用?
它運行時間短暫,速率穩步上升;損失曲線揭示了用於循環的合理最小值和最大值。
在單週期策略中,動量相對於學習率通常如何表現?
單週期政策會在利率達到高峰時降低動量,並在利率下降時提高動量,從而增加了調節效應。
During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
A triangular policy increases the rate during one half-cycle and decreases it during the other half.