引導式測驗 · 中等 等級

Adam 和自適應優化器測驗

檢查 Adam 的梯度矩、偏差校正、自適應縮放、epsilon 和 AdamW 的解耦權重衰減更新。在標準參數更新中。

相關引導路徑Adam 和自適應優化器
問題 1 的 8

Adam 對每個參數追蹤哪兩個量?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Adam 對每個參數追蹤哪兩個量?
    • 梯度和梯度平方的運行平均值
    • 見過的最大和最小梯度
    • 學習率和批量大小
    • 重量值及其符號
  2. 為什麼 Adam 對其矩估計應用偏差校正?
    • 因為在訓練初期梯度總是負值
    • 因為移動平均線從零開始且最初偏向零
    • 使學習率隨著時間的推移而變大
    • 從批次中刪除異常資料點
  3. Adam 和 AdamW 之間的主要差異是什麼?
    • AdamW 完全不使用動量
    • AdamW 刪除了二階矩估計
    • AdamW 將權重衰減與基於梯度的更新解耦
    • AdamW 僅適用於卷積網絡
  4. 小 epsilon 項在 Adam 更新規則中扮演什麼角色?
    • 它設定動量強度
    • 它控制訓練時期的數量
    • 它增加了梯度幅度
    • 它可以防止被零除並穩定更新
  5. 為什麼亞當常被描述為「適應性強」?
    • 它有效地為每個參數提供了自己的縮放步長
    • 它在訓練期間改變網路架構
    • 它將資料集適應模型
    • 自動在分類和迴歸之間切換
  6. 哪個 Adam 參數控制其平方梯度估計的指數衰減率?
    • Beta1
    • Beta2
    • Epsilon
    • 權重衰減係數
  7. 某個參數持續收到大的梯度。哪個 Adam 量有助於縮小其實際步幅?
    • 模型層數
    • 批次正規化的均值
    • 平方梯度的二階動量估計
    • 僅 AdamW 的權重衰減項
  8. 當 beta2 設得更接近 1 時,其他條件不變,會發生什麼情況?
    • 優化器停止使用梯度
    • 一階動量估計被刪除
    • 權重衰減會自動解耦
    • 平方梯度估計衰減更慢,並保留更長的歷史