預熱和余弦退火時間表
熱身在訓練前將學習率從接近零的位置輕輕地提高，然後餘弦退火沿著餘弦曲線將學習率平滑地衰減回來。
概述
Together they stabilize early training and squeeze out better final accuracy, which is why nearly every modern transformer is trained this way.
深入探討
訓練開始時，模型權重是隨機的，梯度可能很大，因此直接跳到較大的學習率通常會導致損失峰值或發散——尤其是像 Adam 這樣的自適應優化器，其方差估計在第一步中是不可靠的。預熱透過將速率線性增加幾百到幾千步來解決這個問題。一旦模型穩定下來，餘弦退火就會接管，將速率衰減為其峰值的 0.5 * (1 + cos(pi * t / T))。餘弦形狀在早期保持較高的速率以實現快速進展，然後逐漸緩和，以便優化器可以穩定在一個良好的最小值而不是在它周圍彈跳。
技術洞察
餘弦退火將學習率縮放 0.5 * (1 + cos(pi * t / T))，其中 t 是當前步驟，T 是總數。這會在峰值速率附近花費很長時間，在中間衰減最快，然後在末端趨於接近零——與直線衰減不同。熱身通常是線性且短暫的。組合曲線看起來像一座平滑的山丘：向上、平穩，然後緩慢滑行至接近零。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
預熱和餘弦退火計劃的未來
預熱加餘弦仍然是大型語言模型的預設配方，但變體正在蔓延。預熱穩定衰減 (WSD) 保持恆定速率，然後在最後急劇衰減，從而可以輕鬆延長運行而無需重新承諾固定長度。研究人員也正在研究預熱為何有效——將其與梯度雜訊和損失景觀曲率聯繫起來——並且工具越來越多地自動調整預熱長度和峰值速率，減少當今占主導地位的手動試錯。
現實世界的實施
GPT 風格和 BERT 風格語言模型在前約 1-2% 的步驟中使用線性預熱，然後餘弦衰減到接近零。
視覺變換器 (ViT) 透過餘弦退火和短暫的預熱進行訓練，以避免 ImageNet 上的早期發散。
Hugging Face Transformers 提供「get_cosine_schedule_with_warmup」作為微調作業的單行調度程式。
穩定擴散和其他擴散模型透過預熱進行微調，以防止在調整預訓練權重時出現梯度爆炸。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Warmup and Cosine Annealing Schedules quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Warmup and Cosine Annealing Schedules?
熱身在訓練前將學習率從接近零的位置輕輕地提高，然後餘弦退火沿著餘弦曲線將學習率平滑地衰減回來。它們共同穩定了早期訓練並擠出了更好的最終準確性，這就是為什麼幾乎每個現代變壓器都以這種方式進行訓練的原因。
訓練開始時熱身階段的主要目的是什麼？
從隨機權重的較大學習速率開始可能會導致損失峰值或發散，因此預熱會緩慢地提高速率以保持早期步驟的穩定。
餘弦退火會依照哪一種形狀衰減學習率？
此速率以 0.5 * (1 + cos(pi * t / T)) 縮放，產生一個平滑的山坡，早期保持高位，最後滑行至接近零。
哪個優化器特別受益於預熱，因為它的變異數估計在早期不可靠？
Adam 的運行方差估計是基於第一步中非常少的樣本，導致有效步長不穩定 - 預熱可以緩解這種情況。
餘弦公式中，T代表什麼？
T 是速率從峰值衰減到接近零的範圍； t 是該範圍內的當前步驟。
與固定長度餘弦相比，預熱穩定衰減 (WSD) 變體的優點是什麼？
WSD 保持恆定速率，然後在最後急劇衰減，因此您可以使穩定階段保持更長的時間並稍後決定停止點。