概述
This counterintuitive bouncing can speed up convergence and helps the optimizer escape sharp local minima and saddle points.
深入探讨
Leslie Smith 在 2015 年提出，循环学习率 (CLR) 挑战了学习率只会下降的假设。相反，它在固定次数的迭代（“周期”）内在最小和最大界限之间振荡，通常呈三角形。直觉：周期性地提高速率会提供能量爆发，让模型跳出糟糕的尖锐最小值并穿越鞍点，而低相位则让它稳定下来。史密斯还引入了“LR范围测试”——一种在观察损失的同时向上扫动利率的短期运行——以自动找到良好的界限。三角、衰变三角和著名的单周期政策都建立在这一想法的基础上。
现实世界的实施
fast.ai 普及了单周期策略，作为在几个时期内快速训练图像分类器达到高精度的默认策略。
LR 范围测试将速率向上扫描数百个批次，以在实际运行之前选择最小和最大边界。
快照集成在每个周期结束时保存模型检查点，从一次训练运行中生成一个免费的集成。
带热重启的随机梯度下降 (SGDR) 会定期将速率重置为高值，以避免急剧最小值。
周期性学习率的未来
循环调度和单周期策略对于视觉和表格任务的快速训练仍然很流行，LR 范围测试是一种标准的调优技巧。对于非常大的语言模型，平滑的预热加余弦时间表往往占主导地位，但潜在的洞察力——战略性增加有助于摆脱损失景观的不良区域——告知热重启（SGDR）和在每个周期的低点快照模型的集成方法。期望周期性想法和自适应、自调整调度程序之间持续交叉授粉。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is Cyclical Learning Rates?
循环学习率在下限和上限之间反复循环学习率，而不是仅仅衰减它。这种违反直觉的弹跳可以加速收敛，并帮助优化器避开尖锐的局部极小值和鞍点。
周期性学习率挑战了什么核心假设？
CLR故意一次又一次地提高利率，拒绝了它只能单调衰减的传统观点。
What did Smith report for cyclical learning rates on tested classification tasks?
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
“LR 范围测试”有什么作用？
它运行时间短暂，速率稳步上升；损失曲线揭示了用于循环的合理最小值和最大值。
在单周期策略中，动量相对于学习率通常如何表现？
单周期政策会在利率达到峰值时降低动量，并在利率下降时提高动量，从而增加了调节效应。
During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
A triangular policy increases the rate during one half-cycle and decreases it during the other half.