Kuiz Jadual Annealing Pemanasan dan Kosinus

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah tujuan utama fasa memanaskan badan pada permulaan latihan?
   • Untuk menstabilkan latihan awal apabila pemberat rawak dan kecerunan bising
   • Untuk meningkatkan saiz kelompok secara beransur-ansur
   • Untuk membekukan lapisan bawah model
   • Untuk memampatkan model untuk inferens yang lebih cepat
2. Penyepuhlindapan kosinus mereputkan kadar pembelajaran mengikut bentuk yang manakah?
   • Garis pepenjuru lurus
   • Lengkung kosinus yang bermula tinggi, mereda dan mendatar menghampiri sifar
   • Fungsi langkah yang jatuh pada zaman tetap
   • Lonjakan eksponen ke atas
3. Pengoptimum manakah yang mendapat manfaat terutamanya daripada pemanasan kerana anggaran variansnya tidak boleh dipercayai pada awalnya?
   • SGD biasa tanpa momentum
   • Carian grid
   • Adam dan variannya
   • K-maksudnya
4. Dalam formula kosinus, apakah yang diwakili oleh T?
   • Suhu model untuk pensampelan
   • Bilangan GPU yang digunakan
   • Saiz perbendaharaan kata tokenizer
   • Jumlah bilangan langkah latihan dalam jadual
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • satu
   • One-half
   • Sifar
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually