周期性学习率
循环学习率在下限和上限之间反复循环学习率，而不是仅仅衰减它。
概述
This counterintuitive bouncing can speed up convergence and helps the optimizer escape sharp local minima and saddle points.
深入探讨
Leslie Smith 在 2015 年提出，循环学习率 (CLR) 挑战了学习率只会下降的假设。相反，它在固定次数的迭代（“周期”）内在最小和最大界限之间振荡，通常呈三角形。直觉：周期性地提高速率会提供能量爆发，让模型跳出糟糕的尖锐最小值并穿越鞍点，而低相位则让它稳定下来。史密斯还引入了“LR范围测试”——一种在观察损失的同时向上扫动利率的短期运行——以自动找到良好的界限。三角、衰变三角和著名的单周期政策都建立在这一想法的基础上。
技术洞察
三角政策在半个周期内将利率从基数线性增加到最大值，然后在另一半周期内线性降低。周期长度通常设置为几个时期的迭代。单周期政策使用单个长周期：利率上升，然后下降到起点以下，而动量反向移动——利率低时动量高，反之亦然——这充当正则化器，并在某些任务上实现“超收敛”。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
周期性学习率的未来
循环调度和单周期策略对于视觉和表格任务的快速训练仍然很流行，LR 范围测试是一种标准的调优技巧。对于非常大的语言模型，平滑的预热加余弦时间表往往占主导地位，但潜在的洞察力——战略性增加有助于摆脱损失景观的不良区域——告知热重启（SGDR）和在每个周期的低点快照模型的集成方法。期望周期性想法和自适应、自调整调度程序之间持续交叉授粉。
现实世界的实施
fast.ai 普及了单周期策略，作为在几个时期内快速训练图像分类器达到高精度的默认策略。
LR 范围测试将速率向上扫描数百个批次，以在实际运行之前选择最小和最大边界。
快照集成在每个周期结束时保存模型检查点，从一次训练运行中生成一个免费的集成。
带热重启的随机梯度下降 (SGDR) 会定期将速率重置为高值，以避免急剧最小值。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cyclical Learning Rates quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Cyclical Learning Rates?
循环学习率在下限和上限之间反复循环学习率，而不是仅仅衰减它。这种违反直觉的弹跳可以加速收敛，并帮助优化器避开尖锐的局部极小值和鞍点。
周期性学习率挑战了什么核心假设？
CLR故意一次又一次地提高利率，拒绝了它只能单调衰减的传统观点。
为什么定期提高学习率会有所帮助？
突发更高的速率可以将优化器推出较差、尖锐的极小值或偏离鞍点，以便它可以找到更好的区域。
“LR 范围测试”有什么作用？
它运行时间短暂，速率稳步上升；损失曲线揭示了用于循环的合理最小值和最大值。
在单周期策略中，动量相对于学习率通常如何表现？
单周期政策会在利率达到峰值时降低动量，并在利率下降时提高动量，从而增加了调节效应。
在循环调度的背景下，什么是“快照集成”？
由于每个周期都会达到不同的最小值，因此保存这些检查点会从一次运行中产生多个可以集成的不同模型。