引导式测验 · 中等 等级
Nesterov 加速梯度测验
测试当前梯度与前瞻梯度、动量校正、凸率范围、可比成本、Nadam 和数字前瞻步骤。
问题 1 的 8
与经典动量相比，内斯特罗夫加速梯度的定义思想是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 与经典动量相比，内斯特罗夫加速梯度的定义思想是什么？
- 它完全消除了动力
- 它使用固定学习率 1.0
- 它评估前瞻点而不是当前位置的梯度
- 它只适用于没有小批量的情况
- Nesterov 的方法在平滑凸问题上可达到多少可证明的收敛速度？
- 订单 1/k^2
- 订单 1/k
- 阶数 1/log k
- 无保证利率
- 这种加速梯度法最初是谁提出的？
- 杰弗里·辛顿，2012 年
- 艾萨克·牛顿
- 约翰·冯·诺依曼
- 尤里·涅斯特罗夫，1983 年
- 为什么前瞻梯度有助于接近曲线最小值？
- 它提高了学习率
- 它会预测超调并在其发生之前进行修正
- 它删除了速度项
- 它随机化步骤方向
- 在实践中，Nesterov 动量的计算成本与经典动量相比如何？
- 由于代数重新排列的更新，大致相同
- 大约高出十倍
- 每一步都需要二阶导数
- 无法在 GPU 上计算
- 哪种自适应优化器将 Nesterov 前瞻与 Adam 式缩放相结合？
- 均方根螺旋桨
- 阿达格勒
- 那达慕
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position