Викторина за Lookahead и Lion Optimizers

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Коя е определящата изчислителна стъпка в актуализацията на теглото на оптимизатора Lion?
   • Вземане на знака на термин, базиран на инерция
   • Разделяне на градиента на неговата текуща средна на квадрат
   • Изчисляване на приближение на Хесен от втори ред
   • Осредняване на тегла за множество контролни точки
2. Как Lookahead структурира своята оптимизация?
   • Той използва единичен набор от тегла, актуализиран два пъти на стъпка
   • Той поддържа „бързи“ тегла, актуализирани от основен оптимизатор, и „бавни“ тегла, които периодично се интерполират към тях
   • Той премахва инерцията изцяло, за да спести памет
   • Той обучава две мрежи и осреднява резултатите им
3. Как първоначално беше открит оптимизаторът Lion?
   • Чрез ръчно извличане от теорията за изпъкнала оптимизация
   • Чрез осредняване на актуализациите на SGD и Adam
   • Чрез автоматизирано символно програмно търсене върху оптимизиращи алгоритми
   • От физична симулация на движение на частици
4. В сравнение с Адам, какво е основното предимство на паметта на Lion?
   • Той изобщо не съхранява състояние
   • Автоматично използва тежести с половин прецизност
   • Споделя състоянието на всички слоеве
   • Той поддържа само един импулсен буфер вместо двата тензора на състоянието на Адам
5. Защо Лъвът обикновено изисква по-малка скорост на обучение от Адам?
   • Тъй като знаковата операция прави мащаба на всяка актуализация еднакъв, като ефективно мащабира стъпката
   • Защото не използва инерция
   • Тъй като обработва по-големи партиди
   • Тъй като забранява загубата на тегло
6. Практическа полза от Lookahead е, че има тенденция да прави обучение:
   • По-чувствителни към избора на хиперпараметри
   • По-стабилен и здрав, с намалени трептения
   • По-бавно на стъпка с фактор десет
   • Несъвместим с Adam или SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop