引導式測驗 · 硬 等級

Lookahead 和 Lion 最佳化器測驗

檢視 Lookahead 的快速和慢速權重、Lion 基於符號的動量更新,以及對記憶和學習率選擇的影響。

問題 1 的 8

Lion 最佳化器權重更新中的定義運算步驟是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Lion 最佳化器權重更新中的定義運算步驟是什麼?
    • 取基於動量項的符號
    • 將梯度除以運行平均值的平方
    • 計算二階 Hessian 近似
    • 多個檢查點的平均權重
  2. Lookahead 如何建立其最佳化?
    • 它使用一組權重,每步更新兩次
    • 它維護由基礎優化器更新的“快速”權重和定期向其插值的“慢速”權重
    • 它完全消除了動量以節省內存
    • 它訓練兩個網路並對它們的輸出進行平均
  3. Lion 優化器最初是如何被發現的?
    • 透過凸優化理論手工推導出來
    • 透過 SGD 和 Adam 的更新進行平均
    • 透過優化器演算法的自動符號程式搜尋
    • 來自粒子運動的物理模擬
  4. 與 Adam 相比,Lion 的關鍵記憶體優勢是什麼?
    • 它根本不儲存任何狀態
    • 它自動使用半精度權重
    • 它在所有層之間共享狀態
    • 它只保留一個動量緩衝區,而不是 Adam 的兩個狀態張量
  5. 為什麼 Lion 通常需要比 Adam 更小的學習率?
    • 因為符號運算使得每次更新的幅度一致,有效地縮放了步長
    • 因為它不使用動量
    • 因為它處理更大的批次
    • 因為它會禁用權重衰減
  6. Lookahead 的一個實際好處是它傾向於使訓練:
    • 對超參數的選擇更加敏感
    • 更穩定、更堅固,減少振動
    • 每一步慢十倍
    • 與 Adam 或 SGD 不相容
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop