引導式測驗 · 中等 等級

Nesterov 加速梯度測驗

測試目前梯度與前瞻梯度、動量校正、凸率範圍、可比較成本、Nadam 和數位前瞻步驟。

相關引導路徑Nesterov 加速梯度
問題 1 的 8

與經典動量相比,內斯特羅夫加速梯度的定義想法是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 與經典動量相比,內斯特羅夫加速梯度的定義想法是什麼?
    • 它完全消除了動力
    • 它使用固定學習率 1.0
    • 它評估前瞻點而不是目前位置的梯度
    • 它只適用於沒有小批量的情況
  2. Nesterov 的方法在平滑凸問題上可達到多少可證明的收斂速度?
    • 訂單 1/k^2
    • 訂單 1/k
    • 階數 1/log k
    • 無保證利率
  3. 這種加速梯度法最初是誰提出的?
    • 傑弗瑞‧辛頓,2012 年
    • 艾薩克·牛頓
    • 約翰·馮·諾依曼
    • 尤里‧涅斯特羅夫,1983 年
  4. 為什麼前瞻梯度有助於接近曲線最小值?
    • 它提高了學習率
    • 它會預測超調並在其發生之前進行修正
    • 它刪除了速度項
    • 它隨機化步驟方向
  5. 在實務中,Nesterov 動量的計算成本與經典動量相比如何?
    • 由於代數重新排列的更新,大致相同
    • 大約高出十倍
    • 每一步都需要二階導數
    • 無法在 GPU 上運算
  6. 哪種自適應優化器將 Nesterov 前瞻與 Adam 式縮放結合?
    • 均方根螺旋槳
    • 阿達格勒
    • 那達慕
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position