预热和余弦退火时间表
热身在训练前将学习率从接近于零的位置轻轻地提高，然后余弦退火沿着余弦曲线将学习率平滑地衰减回来。
概述
它们共同稳定了早期训练并挤出了更好的最终准确性，这就是为什么几乎每个现代变压器都以这种方式进行训练的原因。
深入探讨
训练开始时，模型权重是随机的，梯度可能很大，因此直接跳到较大的学习率通常会导致损失峰值或发散——尤其是像 Adam 这样的自适应优化器，其方差估计在第一步中是不可靠的。预热通过将速率线性增加几百到几千步来解决这个问题。一旦模型稳定下来，余弦退火就会接管，将速率衰减为其峰值的 0.5 * (1 + cos(pi * t / T))。余弦形状在早期保持较高的速率以实现快速进展，然后逐渐缓和，以便优化器可以稳定在一个良好的最小值而不是在它周围弹跳。
技术洞察
余弦退火将学习率缩放 0.5 * (1 + cos(pi * t / T))，其中 t 是当前步骤，T 是总数。这会在峰值速率附近花费很长时间，在中间衰减最快，然后在末端趋于接近零——与直线衰减不同。热身通常是线性且短暂的。组合曲线看起来像一座平滑的山丘：向上、平稳，然后缓慢滑行至接近零。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
预热和余弦退火计划的未来
预热加余弦仍然是大型语言模型的默认配方，但变体正在蔓延。预热稳定衰减 (WSD) 保持恒定速率，然后在最后急剧衰减，从而可以轻松延长运行而无需重新承诺固定长度。研究人员还在研究预热为何有效——将其与梯度噪声和损失景观曲率联系起来——并且工具越来越多地自动调整预热长度和峰值速率，减少当今占主导地位的手动试错。
现实世界的实施
GPT 风格和 BERT 风格语言模型在前约 1-2% 的步骤中使用线性预热，然后余弦衰减到接近零。
视觉变换器 (ViT) 通过余弦退火和短暂的预热进行训练，以避免 ImageNet 上的早期发散。
Hugging Face Transformers 提供“get_cosine_schedule_with_warmup”作为用于微调作业的单行调度程序。
稳定扩散和其他扩散模型通过预热进行微调，以防止在调整预训练权重时出现梯度爆炸。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Warmup and Cosine Annealing Schedules quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是预热和余弦退火时间表？
热身在训练前将学习率从接近于零的位置轻轻地提高，然后余弦退火沿着余弦曲线将学习率平滑地衰减回来。它们共同稳定了早期训练并挤出了更好的最终准确性，这就是为什么几乎每个现代变压器都以这种方式进行训练的原因。
训练开始时热身阶段的主要目的是什么？
从随机权重的较大学习速率开始可能会导致损失峰值或发散，因此预热会缓慢地提高速率以保持早期步骤的稳定。
余弦退火会按照哪种形状衰减学习率？
该速率按 0.5 * (1 + cos(pi * t / T)) 缩放，产生一个平滑的山坡，早期保持高位，最后滑行至接近零。
哪个优化器特别受益于预热，因为它的方差估计在早期不可靠？
Adam 的运行方差估计基于第一步中非常少的样本，导致有效步长不稳定 - 预热可以缓解这种情况。
余弦公式中，T代表什么？
T 是速率从峰值衰减到接近零的范围； t 是该范围内的当前步骤。
与固定长度余弦相比，预热稳定衰减 (WSD) 变体的优点是什么？
WSD 保持恒定速率，然后在最后急剧衰减，因此您可以使稳定阶段保持更长的时间并稍后决定停止点。