概述
它們共同穩定了早期訓練並擠出了更好的最終準確性,這就是為什麼幾乎每個現代變壓器都以這種方式進行訓練的原因。
深入探討
訓練開始時,模型權重是隨機的,梯度可能很大,因此直接跳到較大的學習率通常會導致損失峰值或發散——尤其是像 Adam 這樣的自適應優化器,其方差估計在第一步中是不可靠的。預熱透過將速率線性增加幾百到幾千步來解決這個問題。一旦模型穩定下來,餘弦退火就會接管,將速率衰減為其峰值的 0.5 * (1 + cos(pi * t / T))。餘弦形狀在早期保持較高的速率以實現快速進展,然後逐漸緩和,以便優化器可以穩定在一個良好的最小值而不是在它周圍彈跳。
現實世界的實施
GPT 風格和 BERT 風格語言模型在前約 1-2% 的步驟中使用線性預熱,然後餘弦衰減到接近零。
視覺變換器 (ViT) 透過餘弦退火和短暫的預熱進行訓練,以避免 ImageNet 上的早期發散。
Hugging Face Transformers 提供「get_cosine_schedule_with_warmup」作為微調作業的單行調度程式。
穩定擴散和其他擴散模型透過預熱進行微調,以防止在調整預訓練權重時出現梯度爆炸。
預熱和餘弦退火計劃的未來
預熱加餘弦仍然是大型語言模型的預設配方,但變體正在蔓延。預熱穩定衰減 (WSD) 保持恆定速率,然後在最後急劇衰減,從而可以輕鬆延長運行而無需重新承諾固定長度。研究人員也正在研究預熱為何有效——將其與梯度雜訊和損失景觀曲率聯繫起來——並且工具越來越多地自動調整預熱長度和峰值速率,減少當今占主導地位的手動試錯。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是預熱和餘弦退火時間表?
熱身在訓練前將學習率從接近零的位置輕輕地提高,然後餘弦退火沿著餘弦曲線將學習率平滑地衰減回來。它們共同穩定了早期訓練並擠出了更好的最終準確性,這就是為什麼幾乎每個現代變壓器都以這種方式進行訓練的原因。
訓練開始時熱身階段的主要目的是什麼?
從隨機權重的較大學習速率開始可能會導致損失峰值或發散,因此預熱會緩慢地提高速率以保持早期步驟的穩定。
餘弦退火會依照哪一種形狀衰減學習率?
此速率以 0.5 * (1 + cos(pi * t / T)) 縮放,產生一個平滑的山坡,早期保持高位,最後滑行至接近零。
哪個優化器特別受益於預熱,因為它的變異數估計在早期不可靠?
Adam 的運行方差估計是基於第一步中非常少的樣本,導致有效步長不穩定 - 預熱可以緩解這種情況。
餘弦公式中,T代表什麼?
T 是速率從峰值衰減到接近零的範圍; t 是該範圍內的當前步驟。
在指南的暖身加餘弦時間表中,熱身達到目標速率後會開始什麼?
該指南描述了短暫的線性預熱,然後是餘弦退火。