Викторина, связанная с руководством · Средний Уровень

Викторина по графикам прогрева и косинусного отжига

Тестирует роль разминки на раннем этапе обучения, переход к косинусному затуханию и способы чтения линейного линейного изменения и конечной точки графика.

Связанные направляющие путиГрафики прогрева и косинусного отжига
Вопрос 1 из 8

Какова основная цель разминки в начале тренировки?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова основная цель разминки в начале тренировки?
    • Стабилизировать раннее обучение, когда веса случайны, а градиенты зашумлены.
    • Постепенное увеличение размера партии
    • Чтобы заморозить нижние слои модели
    • Сжать модель для более быстрого вывода
  2. В зависимости от какой формы косинусный отжиг снижает скорость обучения?
    • Прямая диагональная линия
    • Косинусическая кривая, которая начинается с высокой точки, затем замедляется и выравнивается около нуля.
    • Ступенчатая функция, которая спадает в фиксированные эпохи
    • Экспоненциальный скачок вверх
  3. Какой оптимизатор особенно выигрывает от разминки, поскольку его оценки дисперсии на ранних этапах ненадежны?
    • Обычный SGD без импульса
    • Поиск по сетке
    • Адам и его варианты
    • K-средства
  4. Что обозначает Т в формуле косинуса?
    • Температура модели для отбора проб
    • Количество используемых графических процессоров
    • Размер словаря токенизатора
    • Общее количество этапов обучения в расписании
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • Один
    • One-half
    • Ноль
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually