Вікторина, пов’язана з посібником · Середній Рівень

Вікторина «Градієнтний спуск».

Перегляньте звичайний напрямок градієнтного спуску, кроки швидкості навчання, вибіркові градієнти, імпульс, адаптацію Адама, числові оновлення та межі стаціонарної точки.

Пов'язані напрямні шляхиГрадієнтний спуск
Питання 1 з 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. Що контролює швидкість навчання?
    • Кількість шарів у моделі
    • Скільки класів може передбачити модель
    • Розмір кожного кроку під час оптимізації
    • Обсяг використаних навчальних даних
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. Яку проблему може спричинити занадто великий рівень навчання?
    • Навчання стає надзвичайно повільним, але стабільним
    • Модель ігнорує градієнт
    • Набір даних буде пошкоджено
    • Модель перевищує мінімум і може розійтися
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. Що є ключовою особливістю оптимізатора Adam порівняно з простим градієнтним спуском?
    • Він адаптує ефективну швидкість навчання для кожного параметра
    • Він використовує один фіксований крок для кожного параметра
    • Він не вимагає градієнтів
    • Він лише навчає вихідний рівень
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • три
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds