引導式測驗 · 中等 等級

帶動量測驗的隨機梯度下降

測試累積速度、振盪阻尼、係數效應、一致梯度、Adam 連接和零動量行為。

問題 1 的 8

訓練過程中動量項累積了什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 訓練過程中動量項累積了什麼?
    • 訓練epoch總數
    • 過去梯度的運行(指數加權)平均值
    • 資料集的大小
    • 模型的準確率歷史記錄
  2. 在又長又窄的峽谷中,普通 SGD 會遇到什麼問題而動量可以幫助解決?
    • 數值溢出
    • 它停止計算梯度
    • 它會自動提高學習率
    • 它在陡峭的牆壁上曲折前進,同時沿著地板緩慢前進
  3. 動量係數的常見預設值為:
    • 0.9
    • 0.0
    • 0.5
    • 2.0
  4. 哪一種物理類比最常用來描述動量?
    • 鐘擺永遠擺動
    • 彈簧彈回
    • 一個重球滾下坡
    • 水結冰
  5. 當 beta = 0.9 時,動量將沿著一致方向的有效步驟放大約多少?
    • 約2次
    • 約0.1倍
    • 無放大
    • 約10次
  6. 哪一種現代優化器包含動量式一階矩估計?
    • 牛頓法
    • 亞當
    • K-均值
    • 隨機搜尋
  7. 在更新 v = beta 乘以 v 加梯度中,当 beta 为零时会发生什么?
    • 舊速度加倍
    • 每個梯度都變為零
    • 之前的速度被丢弃,当前的梯度决定步长
    • 參數根據學習率停止
  8. 为什么具有相反横向方向的重复梯度在动量作用下可以产生更少的之字形?
    • 它们相反的贡献可以部分抵消累积速度
    • 所有過去的梯度都儲存為單獨的參數
    • 損失自動變成凸輪的
    • 動量完全忽略當前梯度