引导式测验 · 硬 等级

二阶优化和牛顿方法测验

测试曲率如何改变优化步骤、拟牛顿方法存储什么以及精确的牛顿行为何时取决于二次目标。

相关引导路径二阶优化和牛顿法
问题 1 的 8

牛顿法使用了哪些信息而普通梯度下降法没有使用？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 牛顿法使用了哪些信息而普通梯度下降法没有使用？
    • 曲率，通过 Hessian 矩阵的二阶导数
    • 全局最小值的确切位置
    • 学习率表
    • 训练样本数量
  2. 对于完美二次目标，牛顿法需要多少步才能达到最小值？
    • 正好十步
    • 一步
    • 与梯度下降相同的数字
    • 它永远不会收敛
  3. 为什么完整的牛顿法对于十亿参数的神经网络不切实际？
    • 无法计算梯度
    • 神经网络中的二阶导数始终为零
    • Hessian 矩阵是 N×N，需要大约 N 平方内存和 N 立方计算来反转
    • 它仅适用于图像
  4. 像 BFGS 这样的拟牛顿方法如何避免 Hessian 成本？
    • 他们完全忽略了梯度
    • 他们随机猜测曲率
    • 他们将问题转化为线性问题
    • 他们根据连续的梯度差构建了逆 Hessian 矩阵的近似值
  5. 与BFGS相比，L-BFGS如何减少内存？
    • 它只存储最后几个梯度和步长向量，而不是完整的矩阵
    • 它仅使用单精度浮点数
    • 它在每一步之后丢弃梯度
    • 它训练的参数更少
  6. 哪种现代方法可以近似曲率来加速大型神经网络训练？
    • 独热编码
    • 克罗内克因子方法，例如 K-FAC 和 Shampoo
    • 未经修改的普通随机梯度下降
    • 辍学
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes