引導式測驗 · 中等 等級
Adam 和自適應優化器測驗
檢查 Adam 的梯度矩、偏差校正、自適應縮放、epsilon 和 AdamW 的解耦權重衰減更新。在標準參數更新中。
問題 1 的 8
Adam 對每個參數追蹤哪兩個量?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Adam 對每個參數追蹤哪兩個量?
- 梯度和梯度平方的運行平均值
- 見過的最大和最小梯度
- 學習率和批量大小
- 重量值及其符號
- 為什麼 Adam 對其矩估計應用偏差校正?
- 因為在訓練初期梯度總是負值
- 因為移動平均線從零開始且最初偏向零
- 使學習率隨著時間的推移而變大
- 從批次中刪除異常資料點
- Adam 和 AdamW 之間的主要差異是什麼?
- AdamW 完全不使用動量
- AdamW 刪除了二階矩估計
- AdamW 將權重衰減與基於梯度的更新解耦
- AdamW 僅適用於卷積網絡
- 小 epsilon 項在 Adam 更新規則中扮演什麼角色?
- 它設定動量強度
- 它控制訓練時期的數量
- 它增加了梯度幅度
- 它可以防止被零除並穩定更新
- 為什麼亞當常被描述為「適應性強」?
- 它有效地為每個參數提供了自己的縮放步長
- 它在訓練期間改變網路架構
- 它將資料集適應模型
- 自動在分類和迴歸之間切換
- 哪個 Adam 參數控制其平方梯度估計的指數衰減率?
- Beta1
- Beta2
- Epsilon
- 權重衰減係數
- 某個參數持續收到大的梯度。哪個 Adam 量有助於縮小其實際步幅?
- 模型層數
- 批次正規化的均值
- 平方梯度的二階動量估計
- 僅 AdamW 的權重衰減項
- 當 beta2 設得更接近 1 時,其他條件不變,會發生什麼情況?
- 優化器停止使用梯度
- 一階動量估計被刪除
- 權重衰減會自動解耦
- 平方梯度估計衰減更慢,並保留更長的歷史