Адам и тест за адаптивни оптимизатори

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какви две величини проследява Адам за всеки параметър?
   • Текущата средна стойност на градиентите и на градиентите на квадрат
   • Максималният и минималният градиент, виждан някога
   • Скоростта на обучение и размера на партидата
   • Стойността на теглото и неговия знак
2. Защо Адам прилага корекция на пристрастията към оценките на момента?
   • Тъй като градиентите винаги са отрицателни в началото на обучението
   • Тъй като подвижните средни започват от нула и първоначално са отклонени към нула
   • За да направите скоростта на обучение по-голяма с течение на времето
   • За премахване на точки с данни за извънредни стойности от партидата
3. Каква е основната разлика между Adam и AdamW?
   • AdamW изобщо не използва инерция
   • AdamW премахва оценката на втория момент
   • AdamW отделя затихването на теглото от базираната на градиент актуализация
   • AdamW работи само в конволюционни мрежи
4. Каква роля играе членът с малък епсилон в правилото за актуализиране на Адам?
   • Той задава силата на импулса
   • Той контролира броя на тренировъчните епохи
   • Увеличава величината на градиента
   • Той предотвратява деленето на нула и стабилизира актуализацията
5. Защо Адам често се описва като „адаптивен“?
   • Той ефективно дава на всеки параметър собствен размер на мащабирана стъпка
   • Той променя мрежовата архитектура по време на обучение
   • Той адаптира набора от данни към модела
   • Превключва автоматично между класификация и регресия
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history