Викторина по оптимизаторам Lookahead и Lion

Ответы и пояснения появляются по мере прохождения теста.

1. Каков определяющий вычислительный шаг при обновлении веса оптимизатора Lion?
   • Взяв знак члена, основанного на импульсе
   • Деление градиента на квадрат скользящего среднего
   • Вычисление гессианского приближения второго порядка
   • Усреднение весов по нескольким контрольным точкам
2. Как Lookahead структурирует свою оптимизацию?
   • Он использует один набор весов, обновляемый дважды за шаг.
   • Он поддерживает «быстрые» веса, обновляемые базовым оптимизатором, и «медленные» веса, которые периодически интерполируются к ним.
   • Он полностью удаляет импульс для экономии памяти.
   • Он обучает две сети и усредняет их результаты.
3. Как был впервые обнаружен оптимизатор Lion?
   • Вручную выведя его из теории выпуклой оптимизации
   • Усредняя обновления SGD и Adam
   • Через автоматизированный символьный поиск программ по алгоритмам оптимизатора.
   • Из физического моделирования движения частиц
4. По сравнению с Адамом, какое ключевое преимущество памяти у Льва?
   • Он вообще не хранит состояние
   • Он автоматически использует веса половинной точности.
   • Он разделяет состояние на всех уровнях
   • Он сохраняет только один буфер импульса вместо двух тензоров состояния Адама.
5. Почему Льву обычно требуется меньшая скорость обучения, чем Адаму?
   • Поскольку знаковая операция делает величину каждого обновления единообразной, эффективно масштабируя шаг.
   • Потому что он не использует импульс
   • Потому что он обрабатывает большие партии
   • Потому что это отключает потерю веса
6. Практическое преимущество Lookahead состоит в том, что он имеет тенденцию проводить обучение:
   • Более чувствителен к выбору гиперпараметров.
   • Более стабильный и прочный, с уменьшенными колебаниями
   • Медленнее на шаг в десять раз
   • Несовместимо с Адамом или SGD.
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop