引導式測驗 · 硬 等級
二階優化和牛頓方法測驗
測試曲率如何改變最佳化步驟、擬牛頓方法儲存什麼以及精確的牛頓行為何時取決於二次目標。
問題 1 的 8
牛頓法使用了哪些資訊而普通梯度下降法沒有使用?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 牛頓法使用了哪些資訊而普通梯度下降法沒有使用?
- 曲率,通過 Hessian 矩陣的二階導數
- 全域最小值的確切位置
- 學習率表
- 訓練樣本數
- 對於完美二次目標,牛頓法需要多少步驟才能達到最小值?
- 正好十步
- 一步
- 與梯度下降相同的數字
- 它永遠不會收斂
- 為什麼完整的牛頓法對於十億參數的神經網路不切實際?
- 無法計算梯度
- 神經網路中的二階導數始終為零
- Hessian 矩陣是 N×N,需要大約 N 平方記憶體和 N 立方計算來反轉
- 它僅適用於圖像
- 像 BFGS 這樣的擬牛頓方法如何避免 Hessian 成本?
- 他們完全忽略了梯度
- 他們隨機猜測曲率
- 他們將問題轉化為線性問題
- 他們根據連續的梯度差構建了逆 Hessian 矩陣的近似值
- 與BFGS相比,L-BFGS如何減少記憶體?
- 它只儲存最後幾個梯度和步長向量,而不是完整的矩陣
- 它僅使用單精度浮點數
- 它在每一步之後丟棄梯度
- 它訓練的參數更少
- 哪一種現代方法可以近似曲率來加速大型神經網路訓練?
- 獨熱編碼
- 克羅內克因子方法,例如 K-FAC 和 Shampoo
- 未經修改的普通隨機梯度下降
- 輟學
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes