Стохастичен градиентен спускане с инерционен тест

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво натрупва инерционният термин по време на тренировка?
   • Общият брой тренировъчни епохи
   • Текуща (експоненциално претеглена) средна стойност на минали градиенти
   • Размерът на набора от данни
   • История на точността на модела
2. В дълго, тясно дере какъв проблем има обикновеният SGD, който инерцията помага да се реши?
   • Прелива числено
   • Той спира да изчислява градиенти
   • Увеличава скоростта на обучение автоматично
   • Той се движи на зиг-заг по стръмните стени, докато напредва бавно по пода
3. Общата стойност по подразбиране за коефициента на импулса е:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Коя физична аналогия се използва най-често за описване на импулса?
   • Вечно люлеещо се махало
   • Пружина, която се връща назад
   • Тежка топка, търкаляща се надолу
   • Замръзване на водата
5. Приблизително колко инерцията усилва ефективната стъпка в последователна посока, когато бета = 0,9?
   • Около 2 пъти
   • Около 0,1 пъти
   • Без усилване
   • Около 10 пъти
6. Кой модерен оптимизатор включва оценка за първия момент в стил на инерция?
   • Метод на Нютон
   • Адам
   • К-означава
   • Случайно търсене
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely