Тест, свързан с ръководство · Среден Ниво

Тест за графици за загряване и косинусово отгряване

Тества ранната тренировъчна роля на загряването, прехода към косинусово затихване и как да чете линейната рампа и крайната точка на графика.

Свързани ръководни пътекиГрафици за загряване и косинусово отгряване
Въпрос 1 на 8

Каква е основната цел на фазата на загряване в началото на тренировката?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната цел на фазата на загряване в началото на тренировката?
    • За стабилизиране на ранното обучение, когато тежестите са произволни и градиентите са шумни
    • Постепенно увеличаване на размера на партидата
    • За замразяване на долните слоеве на модела
    • За компресиране на модела за по-бързо заключение
  2. Косинусното отгряване намалява скоростта на обучение, следвайки коя форма?
    • Права диагонална линия
    • Косинусова крива, която започва високо, улеснява се и се изравнява близо до нулата
    • Стъпкова функция, която пада при фиксирани епохи
    • Експоненциален скок нагоре
  3. Кой оптимизатор има особена полза от загряването, тъй като неговите оценки на дисперсията са ненадеждни в началото?
    • Обикновен SGD без инерция
    • Търсене в мрежата
    • Адам и неговите разновидности
    • К-означава
  4. Във формулата за косинус какво представлява Т?
    • Температурата на модела за вземане на проби
    • Броят на използваните графични процесори
    • Размерът на речника на токенизатора
    • Общият брой тренировъчни стъпки в графика
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • един
    • One-half
    • Нула
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually