Lookahead 和 Lion 优化器
Lookahead 和 Lion 是神经网络优化的两个现代转折。
概述
Lookahead wraps any base optimizer with 'slow' and 'fast' weights for more stable progress, while Lion (EvoLved Sign Momentum) was discovered by an AI program search and updates weights using only the sign of a momentum term — making it memory-light and often faster than Adam.
深入探讨
张、Hinton 及其同事在 2019 年提出的 Lookahead，运行一个标准的“快速”优化器（如 Adam 或 SGD）k 个步骤，然后将一组单独的“慢速”权重推向快速权重最终的位置的一小部分。这可以抑制振荡并降低对超参数的敏感性。 Lion 由 Google 于 2023 年发布，源于优化器算法的符号程序搜索。它跟踪动量，但将符号函数应用于更新，因此每个参数都在累积梯度符号的方向上移动固定的步长。 Lion仅存储动量缓冲区（Adam状态的一半，保留两个），使用较大的权重衰减和较小的学习率，并且在大型视觉和语言模型上匹配或击败了Adam，同时训练速度更快、成本更低。
技术洞察
前瞻更新：在 k 个快速步骤产生权重 θ_fast 后，慢速权重按 φ ← φ + α(θ_fast − φ) 移动，然后快速优化器重置为 φ。 Lion更新：用于插值的m ← β1·m + (1−β1)·g，但权重步长为θ ← θ − η·(sign(β2·m + (1−β2)·g) + λθ)。符号运算使每个坐标的更新幅度一致，这就像隐式归一化，并解释了为什么 Lion 需要比 Adam 小得多的学习率。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
Lookahead 和 Lion 优化器的未来
Lion 已在多次大规模训练中得到采用，因为它可以减少优化器内存并加快收敛速度，而且它的发现展示了自动化的“AI-designing-AI”算法搜索是实际收益的真正来源。随着模型大小不断给 GPU 内存预算带来压力，预计会有更多基于搜索的优化器、将 Lookahead 式慢速权重与基于符号的更新相结合的混合方案，以及对内存高效优化器的兴趣日益浓厚。
现实世界的实施
用 Lookahead 包裹 Adam，以稳定 Transformer 的训练并减少超参数调整工作。
使用 Lion 训练大型视觉模型（例如 ViT），优化器内存比 Adam 低。
使用 Lion 预训练语言模型，以降低计算成本实现相当的准确性。
在强化学习代理中将 Lookahead 与 SGD 相结合，以平滑嘈杂的策略更新。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lookahead and Lion Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Lookahead and Lion Optimizers?
Lookahead 和 Lion 是神经网络优化的两个现代转折。 Lookahead 用“慢”和“快”权重包装任何基础优化器，以获得更稳定的进展，而 Lion（进化符号动量）是由 AI 程序搜索发现的，并仅使用动量项的符号更新权重 - 使其内存轻且通常比 Adam 更快。
Lion 优化器权重更新中的定义计算步骤是什么？
Lion 将符号函数应用于插值动量项，因此每个参数都在梯度符号方向上以均匀的步长移动。
Lookahead 如何构建其优化？
Lookahead 运行 k 个步骤的快速内部优化器，然后将慢速权重向快速权重移动一小部分并重置。
Lion 优化器最初是如何被发现的？
Lion (EvoLved Sign Momentum) 源于一个程序搜索过程，该过程演化并评估了候选优化器程序。
与 Adam 相比，Lion 的关键内存优势是什么？
Adam 追踪第一时刻和第二时刻； Lion 仅保留单个动量缓冲区，将优化器状态内存大致减半。
为什么 Lion 通常需要比 Adam 更小的学习率？
由于sign函数固定了每个坐标更新的幅度，有效步长较大，因此使用较小的学习率（和较大的权值衰减）。