Тест щодо графіків розігріву та косинусного відпалу

Відповіді та пояснення з’являються під час виконання тесту.

1. Яка основна мета етапу розминки на початку тренування?
   • Для стабілізації ранніх тренувань, коли ваги є випадковими, а градієнти шумними
   • Поступово збільшувати розмір партії
   • Щоб заморозити нижні шари моделі
   • Щоб стиснути модель для швидшого висновку
2. За якою формою косинусний відпал знижує швидкість навчання?
   • Пряма діагональна лінія
   • Косинусова крива, яка починається високо, послаблюється та згладжується біля нуля
   • Функція кроку, яка спадає на фіксовані епохи
   • Експоненціальний сплеск вгору
3. Який оптимізатор особливо виграє від розігріву, оскільки його оцінки дисперсії є ненадійними на ранньому етапі?
   • Звичайний SGD без імпульсу
   • Пошук по сітці
   • Адам та його різновиди
   • К-означає
4. Що означає T у формулі косинуса?
   • Температура моделі для відбору проб
   • Кількість використовуваних графічних процесорів
   • Розмір словника токенізера
   • Загальна кількість тренувальних кроків у розкладі
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • Один
   • One-half
   • Нуль
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually