Викторина, связанная с руководством · Средний Уровень

Викторина по планированию скорости обучения

Проверяет графики разминки, косинуса и шагов, поведение при перезапуске, раннюю нестабильность и общий рецепт тренировки «разогрев, а затем затухание».

Связанные направляющие путиПланирование скорости обучения
Вопрос 1 из 8

Какова цель фазы «разминки» в графике скорости обучения?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова цель фазы «разминки» в графике скорости обучения?
    • Начать с небольшой скорости и постепенно наращивать ее, избегая нестабильности из-за ранних шумных градиентов.
    • Чтобы сделать конечную точность ниже
    • Чтобы пропустить первые несколько пакетов данных
    • Заморозить все веса на старте
  2. Какой график плавно следует полукосинусоидальной кривой вниз к минимальной скорости?
    • Постоянное расписание
    • Косинусный отжиг
    • Случайное расписание
    • Линейное увеличение
  3. Что произойдет, если скорость обучения будет слишком высокой?
    • Обучение сходится мгновенно с идеальной точностью
    • Модель тренируется медленнее, но всегда добивается успеха.
    • Потери могут расходиться или колебаться, а не уменьшаться.
    • Ничего не меняется; ставка не влияет
  4. Как затухание шага влияет на скорость обучения?
    • Увеличивает его линейно с каждой партией
    • Держит его совершенно постоянным
    • Устанавливает его случайным образом на каждом шаге
    • Сбрасывает его на фиксированный коэффициент в заранее определенные эпохи.
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • Размер партии
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate