引導式測驗 · 硬 等級

二階優化和牛頓方法測驗

測試曲率如何改變最佳化步驟、擬牛頓方法儲存什麼以及精確的牛頓行為何時取決於二次目標。

相關引導路徑二階優化和牛頓法
問題 1 的 8

牛頓法使用了哪些資訊而普通梯度下降法沒有使用?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 牛頓法使用了哪些資訊而普通梯度下降法沒有使用?
    • 曲率,通過 Hessian 矩陣的二階導數
    • 全域最小值的確切位置
    • 學習率表
    • 訓練樣本數
  2. 對於完美二次目標,牛頓法需要多少步驟才能達到最小值?
    • 正好十步
    • 一步
    • 與梯度下降相同的數字
    • 它永遠不會收斂
  3. 為什麼完整的牛頓法對於十億參數的神經網路不切實際?
    • 無法計算梯度
    • 神經網路中的二階導數始終為零
    • Hessian 矩陣是 N×N,需要大約 N 平方記憶體和 N 立方計算來反轉
    • 它僅適用於圖像
  4. 像 BFGS 這樣的擬牛頓方法如何避免 Hessian 成本?
    • 他們完全忽略了梯度
    • 他們隨機猜測曲率
    • 他們將問題轉化為線性問題
    • 他們根據連續的梯度差構建了逆 Hessian 矩陣的近似值
  5. 與BFGS相比,L-BFGS如何減少記憶體?
    • 它只儲存最後幾個梯度和步長向量,而不是完整的矩陣
    • 它僅使用單精度浮點數
    • 它在每一步之後丟棄梯度
    • 它訓練的參數更少
  6. 哪一種現代方法可以近似曲率來加速大型神經網路訓練?
    • 獨熱編碼
    • 克羅內克因子方法,例如 K-FAC 和 Shampoo
    • 未經修改的普通隨機梯度下降
    • 輟學
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes