Тест за оптимизация от втори ред и методи на Нютон

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Каква информация използва методът на Нютон, която не използва обикновеното градиентно спускане?
   • Кривина, чрез вторите производни в матрицата на Хесиан
   • Точното местоположение на глобалния минимум
   • Графикът на скоростта на обучение
   • Броят на примерите за обучение
2. За идеално квадратична цел колко стъпки са необходими на метода на Нютон, за да достигне минимума?
   • Точно десет стъпки
   • Една стъпка
   • Същият номер като градиентно спускане
   • Никога не се събира
3. Защо пълният метод на Нютон е непрактичен за невронни мрежи с милиард параметри?
   • Градиентът не може да бъде изчислен
   • Вторите производни винаги са нула в невронните мрежи
   • Хесианът е N-по-N, струва около N-квадрат памет и N-куб изчисление за обръщане
   • Работи само върху изображения
4. Какво правят методите на квази-Нютон като BFGS, за да избегнат цената на Хесиан?
   • Те пренебрегват изцяло градиента
   • Те на случаен принцип отгатват кривината
   • Те превръщат проблема в линеен
   • Те изграждат приближение на обратния Хесиан от последователни градиентни разлики
5. Как L-BFGS намалява паметта в сравнение с BFGS?
   • Той съхранява само последните няколко градиентни и стъпкови вектори вместо пълната матрица
   • Той използва само поплавъци с единична точност
   • Той изхвърля градиента след всяка стъпка
   • Тренира се на по-малко параметри
6. Кой модерен подход приближава кривината, за да ускори обучението на голяма невронна мрежа?
   • Едно горещо кодиране
   • Методи, базирани на Kronecker, като K-FAC и шампоан
   • Обикновено стохастично градиентно спускане без модификации
   • Отпадане
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes