引導式測驗 · 中等 等級
Nesterov 加速梯度測驗
測試目前梯度與前瞻梯度、動量校正、凸率範圍、可比較成本、Nadam 和數位前瞻步驟。
問題 1 的 8
與經典動量相比,內斯特羅夫加速梯度的定義想法是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 與經典動量相比,內斯特羅夫加速梯度的定義想法是什麼?
- 它完全消除了動力
- 它使用固定學習率 1.0
- 它評估前瞻點而不是目前位置的梯度
- 它只適用於沒有小批量的情況
- Nesterov 的方法在平滑凸問題上可達到多少可證明的收斂速度?
- 訂單 1/k^2
- 訂單 1/k
- 階數 1/log k
- 無保證利率
- 這種加速梯度法最初是誰提出的?
- 傑弗瑞‧辛頓,2012 年
- 艾薩克·牛頓
- 約翰·馮·諾依曼
- 尤里‧涅斯特羅夫,1983 年
- 為什麼前瞻梯度有助於接近曲線最小值?
- 它提高了學習率
- 它會預測超調並在其發生之前進行修正
- 它刪除了速度項
- 它隨機化步驟方向
- 在實務中,Nesterov 動量的計算成本與經典動量相比如何?
- 由於代數重新排列的更新,大致相同
- 大約高出十倍
- 每一步都需要二階導數
- 無法在 GPU 上運算
- 哪種自適應優化器將 Nesterov 前瞻與 Adam 式縮放結合?
- 均方根螺旋槳
- 阿達格勒
- 那達慕
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position