Kuis Jadwal Pemanasan dan Cosine Annealing

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan utama fase pemanasan di awal latihan?
   • Untuk menstabilkan pelatihan awal ketika bobotnya acak dan gradiennya berisik
   • Untuk meningkatkan ukuran batch secara bertahap
   • Untuk membekukan lapisan bawah model
   • Untuk mengompresi model agar inferensi lebih cepat
2. Cosine annealing meluruhkan kecepatan pemelajaran mengikuti bentuk apa?
   • Garis diagonal lurus
   • Kurva kosinus yang dimulai dari tinggi, menurun, dan mendatar mendekati nol
   • Fungsi langkah yang turun pada waktu yang tetap
   • Lonjakan eksponensial ke atas
3. Pengoptimal mana yang paling diuntungkan dari pemanasan karena perkiraan variansnya tidak dapat diandalkan sejak awal?
   • SGD biasa tanpa momentum
   • Pencarian jaringan
   • Adam dan variannya
   • K-berarti
4. Dalam rumus cosinus, apa yang diwakili oleh T?
   • Suhu model untuk pengambilan sampel
   • Jumlah GPU yang digunakan
   • Ukuran kosakata tokenizer
   • Jumlah total langkah pelatihan dalam jadwal
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • Satu
   • One-half
   • Nol
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually