Стохастичний градієнтний спуск із тестом Momentum

Відповіді та пояснення з’являються під час виконання тесту.

1. Що накопичує термін імпульсу під час навчання?
   • Загальна кількість епох навчання
   • Поточне (експоненціально зважене) середнє минулих градієнтів
   • Розмір набору даних
   • Історія точності моделі
2. У довгій вузькій ущелині, яку проблему має простий SGD, яку імпульс допомагає вирішити?
   • Він переповнюється чисельно
   • Він зупиняє обчислення градієнтів
   • Це автоматично збільшує швидкість навчання
   • Він зигзагом рухається по крутих стінах, повільно просуваючись по підлозі
3. Загальне значення за замовчуванням для коефіцієнта імпульсу:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Яка фізична аналогія найчастіше використовується для опису імпульсу?
   • Маятник, який коливається вічно
   • Пружина повертається назад
   • Важкий м'яч котиться вниз
   • Замерзання води
5. Наскільки приблизно імпульс посилює ефективний крок у послідовному напрямку, коли бета = 0,9?
   • Приблизно в 2 рази
   • Приблизно в 0,1 рази
   • Без підсилення
   • Приблизно 10 разів
6. Який сучасний оптимізатор містить оцінку першого моменту в стилі імпульсу?
   • Метод Ньютона
   • Адам
   • К-означає
   • Випадковий пошук
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely