技術指南

預熱和余弦退火時間表

熱身在訓練前將學習率從接近零的位置輕輕地提高,然後餘弦退火沿著餘弦曲線將學習率平滑地衰減回來。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 預熱和餘弦退火計劃的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它們共同穩定了早期訓練並擠出了更好的最終準確性,這就是為什麼幾乎每個現代變壓器都以這種方式進行訓練的原因。

深入探討

訓練開始時,模型權重是隨機的,梯度可能很大,因此直接跳到較大的學習率通常會導致損失峰值或發散——尤其是像 Adam 這樣的自適應優化器,其方差估計在第一步中是不可靠的。預熱透過將速率線性增加幾百到幾千步來解決這個問題。一旦模型穩定下來,餘弦退火就會接管,將速率衰減為其峰值的 0.5 * (1 + cos(pi * t / T))。餘弦形狀在早期保持較高的速率以實現快速進展,然後逐漸緩和,以便優化器可以穩定在一個良好的最小值而不是在它周圍彈跳。

現實世界的實施

GPT 風格和 BERT 風格語言模型在前約 1-2% 的步驟中使用線性預熱,然後餘弦衰減到接近零。

視覺變換器 (ViT) 透過餘弦退火和短暫的預熱進行訓練,以避免 ImageNet 上的早期發散。

Hugging Face Transformers 提供「get_cosine_schedule_with_warmup」作為微調作業的單行調度程式。

穩定擴散和其他擴散模型透過預熱進行微調,以防止在調整預訓練權重時出現梯度爆炸。

預熱和餘弦退火計劃的未來

預熱加餘弦仍然是大型語言模型的預設配方,但變體正在蔓延。預熱穩定衰減 (WSD) 保持恆定速率,然後在最後急劇衰減,從而可以輕鬆延長運行而無需重新承諾固定長度。研究人員也正在研究預熱為何有效——將其與梯度雜訊和損失景觀曲率聯繫起來——並且工具越來越多地自動調整預熱長度和峰值速率,減少當今占主導地位的手動試錯。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加熱身和餘弦退火時間表測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是預熱和餘弦退火時間表?

熱身在訓練前將學習率從接近零的位置輕輕地提高,然後餘弦退火沿著餘弦曲線將學習率平滑地衰減回來。它們共同穩定了早期訓練並擠出了更好的最終準確性,這就是為什麼幾乎每個現代變壓器都以這種方式進行訓練的原因。

訓練開始時熱身階段的主要目的是什麼?

從隨機權重的較大學習速率開始可能會導致損失峰值或發散,因此預熱會緩慢地提​​高速率以保持早期步驟的穩定。

餘弦退火會依照哪一種形狀衰減學習率?

此速率以 0.5 * (1 + cos(pi * t / T)) 縮放,產生一個平滑的山坡,早期保持高位,最後滑行至接近零。

哪個優化器特別受益於預熱,因為它的變異數估計在早期不可靠?

Adam 的運行方差估計是基於第一步中非常少的樣本,導致有效步長不穩定 - 預熱可以緩解這種情況。

餘弦公式中,T代表什麼?

T 是速率從峰值衰減到接近零的範圍; t 是該範圍內的當前步驟。

在指南的暖身加餘弦時間表中,熱身達到目標速率後會開始什麼?

該指南描述了短暫的線性預熱,然後是餘弦退火。