Викторина «Адам и адаптивные оптимизаторы»

Ответы и пояснения появляются по мере прохождения теста.

1. Какие две величины отслеживает Адам для каждого параметра?
   • Скользящее среднее градиентов и квадратов градиентов
   • Максимальный и минимальный градиент, когда-либо виденный
   • Скорость обучения и размер пакета
   • Значение веса и его знак
2. Почему Адам применяет поправку к смещению своих оценок момента?
   • Потому что градиенты всегда отрицательны на ранних этапах обучения.
   • Поскольку скользящие средние начинаются с нуля и изначально смещены к нулю.
   • Чтобы увеличить скорость обучения с течением времени
   • Удаление точек данных выбросов из пакета
3. В чем основная разница между Адамом и AdamW?
   • AdamW вообще не использует импульс
   • AdamW удаляет оценку второго момента
   • AdamW отделяет снижение веса от обновления на основе градиента.
   • AdamW работает только со сверточными сетями.
4. Какую роль играет малый член эпсилон в правиле обновления Адама?
   • Он задает силу импульса
   • Он контролирует количество эпох обучения.
   • Увеличивает величину градиента
   • Он предотвращает деление на ноль и стабилизирует обновление.
5. Почему Адама часто называют «адаптивным»?
   • Он эффективно присваивает каждому параметру собственный масштабируемый размер шага.
   • Меняет сетевую архитектуру во время обучения
   • Он адаптирует набор данных к модели.
   • Он автоматически переключается между классификацией и регрессией.
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history