Lookahead 和 Lion 优化器测验

当您参加测验时，就会出现答案和解释。

1. Lion 优化器权重更新中的定义计算步骤是什么？
   • 取基于动量项的符号
   • 将梯度除以运行平均值的平方
   • 计算二阶 Hessian 近似
   • 多个检查点的平均权重
2. Lookahead 如何构建其优化？
   • 它使用一组权重，每步更新两次
   • 它维护由基础优化器更新的“快速”权重和定期向其插值的“慢速”权重
   • 它完全消除了动量以节省内存
   • 它训练两个网络并对它们的输出进行平均
3. Lion 优化器最初是如何被发现的？
   • 通过凸优化理论手工推导出来
   • 通过对 SGD 和 Adam 的更新进行平均
   • 通过优化器算法的自动符号程序搜索
   • 来自粒子运动的物理模拟
4. 与 Adam 相比，Lion 的关键内存优势是什么？
   • 它根本不存储任何状态
   • 它自动使用半精度权重
   • 它在所有层之间共享状态
   • 它只保留一个动量缓冲区，而不是 Adam 的两个状态张量
5. 为什么 Lion 通常需要比 Adam 更小的学习率？
   • 因为符号运算使得每次更新的幅度一致，有效地缩放了步长
   • 因为它不使用动量
   • 因为它处理更大的批次
   • 因为它会禁用权重衰减
6. Lookahead 的一个实际好处是它倾向于使训练：
   • 对超参数的选择更加敏感
   • 更稳定、更坚固，减少振动
   • 每一步慢十倍
   • 与 Adam 或 SGD 不兼容
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop