Вікторина, пов’язана з посібником · Середній Рівень

Вікторина Адам і адаптивні оптимізатори

Перевіряє моменти градієнта Адама, корекцію зміщення, адаптивне масштабування, епсилон і оновлення розпаду ваги AdamW. у стандартному оновленні параметрів.

Пов'язані напрямні шляхиАдам і адаптивні оптимізатори
Питання 1 з 8

Які дві величини відстежує Адам для кожного параметра?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Які дві величини відстежує Адам для кожного параметра?
    • Середнє значення градієнтів і градієнтів у квадраті
    • Максимальний і мінімальний градієнт, який будь-коли бачив
    • Швидкість навчання та розмір партії
    • Величина ваги та її знак
  2. Чому Адам застосовує корекцію зсуву до своїх оцінок моменту?
    • Оскільки градієнти завжди негативні на початку навчання
    • Оскільки ковзні середні починаються з нуля і спочатку зміщені до нуля
    • Щоб збільшити швидкість навчання з часом
    • Щоб видалити вихідні точки даних із пакету
  3. У чому головна відмінність між Adam і AdamW?
    • AdamW взагалі не використовує імпульс
    • AdamW видаляє оцінку другого моменту
    • AdamW відокремлює розпад ваги від оновлення на основі градієнта
    • AdamW працює лише в згорткових мережах
  4. Яку роль відіграє малий епсилон у правилі оновлення Адама?
    • Він задає силу імпульсу
    • Він контролює кількість епох навчання
    • Це збільшує величину градієнта
    • Він запобігає діленню на нуль і стабілізує оновлення
  5. Чому Адама часто називають «адаптивним»?
    • Це ефективно надає кожному параметру власний масштабований розмір кроку
    • Він змінює архітектуру мережі під час навчання
    • Він адаптує набір даних до моделі
    • Він автоматично перемикається між класифікацією та регресією
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history