Стохастический градиентный спуск с викториной по импульсу

Ответы и пояснения появляются по мере прохождения теста.

1. Что накапливает импульс во время тренировки?
   • Общее количество эпох обучения
   • Текущее (экспоненциально взвешенное) среднее прошлых градиентов.
   • Размер набора данных
   • История точности модели
2. В длинном узком ущелье какая проблема возникает у обычного SGD, которую помогает решить импульс?
   • Он переполняется численно
   • Он останавливает вычисление градиентов
   • Это автоматически увеличивает скорость обучения
   • Он зигзагом движется по отвесным стенам, медленно продвигаясь по полу.
3. Обычное значение по умолчанию для коэффициента импульса:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Какая физическая аналогия чаще всего используется для описания импульса?
   • Маятник качается вечно
   • Весна возвращается
   • Тяжелый мяч катится вниз по склону
   • Замерзание воды
5. Насколько примерно импульс усиливает эффективный шаг в последовательном направлении, когда бета = 0,9?
   • Около 2 раз
   • Около 0,1 раза
   • Нет усиления
   • Около 10 раз
6. Какой современный оптимизатор включает оценку первого момента в стиле импульса?
   • метод Ньютона
   • Адам
   • K-средства
   • Случайный поиск
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely