Нестеров Викторина по ускоренному градиенту

Ответы и пояснения появляются по мере прохождения теста.

1. Какова определяющая идея ускоренного градиента Нестерова по сравнению с классическим импульсом?
   • Это полностью удаляет импульс
   • Он использует фиксированную скорость обучения 1,0.
   • Он оценивает градиент в точке просмотра вперед, а не в текущей позиции.
   • Работает только без мини-пакетов
2. Какую доказуемую скорость сходимости достигает метод Нестерова на гладких выпуклых задачах?
   • Заказ 1/к^2
   • Заказ 1/к
   • Заказ 1/log k
   • Нет гарантированной ставки
3. Кто изначально представил этот метод ускоренного градиента?
   • Джеффри Хинтон в 2012 году
   • Исаак Ньютон
   • Джон фон Нейман
   • Юрий Нестеров в 1983 году.
4. Почему упреждающий градиент помогает вблизи изогнутых минимумов?
   • Это увеличивает скорость обучения
   • Он предвидит превышение и применяет коррекцию до того, как оно произойдет.
   • Он удаляет член скорости
   • Он рандомизирует направление шага
5. На практике, как вычислительные затраты импульса Нестерова сравниваются с классическим импульсом?
   • Примерно то же самое, благодаря алгебраически переставленному обновлению
   • Примерно в десять раз выше
   • На каждом шагу требуются вторые производные.
   • Его невозможно вычислить на графических процессорах.
6. Какой адаптивный оптимизатор сочетает в себе прогноз Нестерова с масштабированием в стиле Адама?
   • RMSprop
   • Адаград
   • Надам
   • ЛБФГС
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position