引導式測驗 · 硬 等級
Lookahead 和 Lion 最佳化器測驗
檢視 Lookahead 的快速和慢速權重、Lion 基於符號的動量更新,以及對記憶和學習率選擇的影響。
問題 1 的 8
Lion 最佳化器權重更新中的定義運算步驟是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Lion 最佳化器權重更新中的定義運算步驟是什麼?
- 取基於動量項的符號
- 將梯度除以運行平均值的平方
- 計算二階 Hessian 近似
- 多個檢查點的平均權重
- Lookahead 如何建立其最佳化?
- 它使用一組權重,每步更新兩次
- 它維護由基礎優化器更新的“快速”權重和定期向其插值的“慢速”權重
- 它完全消除了動量以節省內存
- 它訓練兩個網路並對它們的輸出進行平均
- Lion 優化器最初是如何被發現的?
- 透過凸優化理論手工推導出來
- 透過 SGD 和 Adam 的更新進行平均
- 透過優化器演算法的自動符號程式搜尋
- 來自粒子運動的物理模擬
- 與 Adam 相比,Lion 的關鍵記憶體優勢是什麼?
- 它根本不儲存任何狀態
- 它自動使用半精度權重
- 它在所有層之間共享狀態
- 它只保留一個動量緩衝區,而不是 Adam 的兩個狀態張量
- 為什麼 Lion 通常需要比 Adam 更小的學習率?
- 因為符號運算使得每次更新的幅度一致,有效地縮放了步長
- 因為它不使用動量
- 因為它處理更大的批次
- 因為它會禁用權重衰減
- Lookahead 的一個實際好處是它傾向於使訓練:
- 對超參數的選擇更加敏感
- 更穩定、更堅固,減少振動
- 每一步慢十倍
- 與 Adam 或 SGD 不相容
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop