Викторина по оптимизации второго порядка и методам Ньютона

Ответы и пояснения появляются по мере прохождения теста.

1. Какую информацию использует метод Ньютона, чего нет в простом градиентном спуске?
   • Кривизна через вторые производные в матрице Гессе
   • Точное местоположение глобального минимума
   • График обучения
   • Количество обучающих примеров
2. Сколько шагов нужно методу Ньютона для достижения идеально квадратичной цели?
   • Ровно десять шагов
   • Один шаг
   • То же число, что и градиентный спуск
   • Он никогда не сходится
3. Почему полный метод Ньютона непрактичен для нейронных сетей с миллиардом параметров?
   • Градиент не может быть вычислен
   • Вторые производные всегда равны нулю в нейронных сетях
   • Гессиан имеет размерность N на N, требует около N-квадратной памяти и N-кубических вычислений для инвертирования.
   • Работает только с изображениями
4. Что делают квазиньютоновские методы, такие как BFGS, чтобы избежать затрат гессиана?
   • Они полностью игнорируют градиент
   • Они случайно угадывают кривизну
   • Они преобразуют задачу в линейную.
   • Они строят аппроксимацию обратного гессиана на основе последовательных разностей градиентов.
5. Как L-BFGS уменьшает объем памяти по сравнению с BFGS?
   • Он хранит только несколько последних векторов градиента и шага вместо полной матрицы.
   • Он использует только числа с плавающей запятой одинарной точности.
   • Он отбрасывает градиент после каждого шага
   • Он обучается по меньшему количеству параметров
6. Какой современный подход аппроксимирует кривизну для ускорения обучения больших нейронных сетей?
   • Горячее кодирование
   • Методы с учетом Кронекера, такие как K-FAC и шампунь.
   • Простой стохастический градиентный спуск без изменений
   • Отсев
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes