Вікторина, пов’язана з посібником · важко Рівень

Тест з оптимізації другого порядку та методів Ньютона

Перевіряє, як кривина змінює крок оптимізації, що зберігають методи квазіНьютона та коли точна поведінка Ньютона залежить від квадратичної цілі.

Пов'язані напрямні шляхиОптимізація другого порядку та методи Ньютона
Питання 1 з 8

Яку інформацію використовує метод Ньютона, а не простий градієнтний спуск?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку інформацію використовує метод Ньютона, а не простий градієнтний спуск?
    • Кривизна через другі похідні в матриці Гессе
    • Точне розташування глобального мінімуму
    • Розклад курсу навчання
    • Кількість навчальних прикладів
  2. Скільки кроків потрібно виконати методу Ньютона для ідеально квадратичної цілі, щоб досягти мінімуму?
    • Рівно десять кроків
    • Один крок
    • Те саме число, що й градієнтний спуск
    • Ніколи не сходиться
  3. Чому повний метод Ньютона непрактичний для нейронних мереж із мільярдом параметрів?
    • Градієнт неможливо обчислити
    • Другі похідні завжди дорівнюють нулю в нейронних мережах
    • Гессе – це N на N, що коштує приблизно N-квадрат пам’яті та N-куб обчислень для інвертування
    • Він працює лише на зображеннях
  4. Що роблять квазіньютонівські методи, такі як BFGS, щоб уникнути вартості Гессе?
    • Вони повністю ігнорують градієнт
    • Вони навмання вгадують кривизну
    • Вони перетворюють задачу на лінійну
    • Вони будують наближення оберненого Гессе з послідовних градієнтних різниць
  5. Як L-BFGS зменшує пам’ять порівняно з BFGS?
    • Замість повної матриці він зберігає лише кілька останніх векторів градієнта та кроків
    • Він використовує лише числа з плаваючою точністю одинарної точності
    • Він скидає градієнт після кожного кроку
    • Він тренується на меншій кількості параметрів
  6. Який сучасний підхід наближає кривизну для прискорення навчання великої нейронної мережі?
    • Одночасне кодування
    • Методи Кронекера, такі як K-FAC і Shampoo
    • Простий стохастичний градієнтний спуск без змін
    • Вибуття
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes