Вікторина, пов’язана з посібником · важко Рівень
Вікторина Lookahead і Lion Optimizers
Перевіряє швидкі та повільні ваги Lookahead, оновлення імпульсу Lion на основі знаків і наслідки для вибору пам’яті та швидкості навчання.
Питання 1 з 8
Що є визначальним обчислювальним кроком в оновленні ваги оптимізатора Lion?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що є визначальним обчислювальним кроком в оновленні ваги оптимізатора Lion?
- Взявши знак терміна на основі імпульсу
- Ділення градієнта на квадрат середнього
- Обчислення гессіанської апроксимації другого порядку
- Усереднення ваги в кількох контрольних точках
- Як Lookahead структурує свою оптимізацію?
- Він використовує єдиний набір ваг, що оновлюється двічі за крок
- Він підтримує «швидкі» ваги, оновлені базовим оптимізатором, і «повільні» ваги, які періодично інтерполюються до них
- Це повністю видаляє імпульс для збереження пам’яті
- Він навчає дві мережі та усереднює їхні результати
- Як спочатку був відкритий оптимізатор Lion?
- Вручну виводячи його з теорії опуклої оптимізації
- Шляхом усереднення оновлень SGD і Adam
- За допомогою автоматизованого символьного програмного пошуку за алгоритмами оптимізатора
- З фізичного моделювання руху частинок
- У чому головна перевага пам’яті Лева порівняно з Адамом?
- Він взагалі не зберігає стан
- Він автоматично використовує ваги половинної точності
- Він поділяє стан на всіх рівнях
- Він зберігає лише один буфер імпульсу замість двох тензорів стану Адама
- Чому Леву зазвичай потрібна менша швидкість навчання, ніж Адаму?
- Оскільки операція знака робить кожну величину оновлення рівномірною, ефективно масштабуючи крок
- Тому що він не використовує імпульс
- Тому що він обробляє більші партії
- Тому що він вимикає розпад ваги
- Практична перевага Lookahead полягає в тому, що він має тенденцію робити навчання:
- Більш чутливий до вибору гіперпараметрів
- Більш стабільний і міцний, зі зниженими коливаннями
- Повільніше за крок у десять разів
- Несумісний з Адамом або SGD
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop