Викторина, связанная с руководством · Средний Уровень

Викторина по градиентному спуску

Просмотрите направление простого градиентного спуска, шаги скорости обучения, выборочные градиенты, импульс, адаптацию Адама, численные обновления и пределы стационарной точки.

Связанные направляющие путиГрадиентный спуск
Вопрос 1 из 8

In plain gradient descent, which direction is used relative to the objective's gradient?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. In plain gradient descent, which direction is used relative to the objective's gradient?
    • The negative-gradient direction
    • The positive-gradient direction
    • An arbitrary perpendicular direction by definition
    • A direction chosen without evaluating any gradient
  2. Что влияет на скорость обучения?
    • Количество слоев в модели
    • Сколько классов может предсказать модель
    • Размер каждого шага, сделанного во время оптимизации
    • Объем используемых обучающих данных
  3. How does a mini-batch gradient relate to the full selected training-data objective?
    • It uses no examples
    • It is computed on the batch and used as an estimate of the full-data gradient
    • It must equal the full-data gradient on every step
    • It only exists for images
  4. Какую проблему может вызвать слишком большая скорость обучения?
    • Обучение становится крайне медленным, но стабильным
    • Модель игнорирует градиент
    • Набор данных становится поврежденным
    • Модель выходит за пределы минимума и может расходиться.
  5. What information does momentum carry into later gradient-descent updates?
    • Only the model's vocabulary size
    • A permanent deletion of all earlier gradients
    • A running weighted combination of earlier gradients
    • An unrelated random reset of every weight
  6. Какова ключевая особенность оптимизатора Адама по сравнению с простым градиентным спуском?
    • Он адаптирует эффективную скорость обучения для каждого параметра.
    • Он использует один фиксированный шаг для каждого параметра.
    • Не требует градиентов
    • Он тренирует только выходной слой
  7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
    • Two-point-three
    • One-point-nine-seven
    • Три
    • One-point-seven
  8. What does a zero gradient fail to prove for a nonconvex training objective?
    • That the gradient value is zero at the evaluated point
    • That the current point is a global minimum
    • That the objective has been evaluated locally
    • That a stationary-point condition holds