Câu đố về lịch trình ủ ấm và luyện cosine

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục đích chính của giai đoạn khởi động khi bắt đầu tập luyện là gì?
   • Để ổn định quá trình luyện tập sớm khi trọng lượng ngẫu nhiên và độ dốc bị nhiễu
   • Để tăng dần kích thước lô
   • Để đóng băng các lớp dưới cùng của mô hình
   • Để nén mô hình để suy luận nhanh hơn
2. Ủ cosine làm giảm tốc độ học theo hình dạng nào?
   • Một đường chéo thẳng
   • Đường cong cosine bắt đầu cao, giãn ra và phẳng gần bằng 0
   • Hàm bước giảm ở các kỷ nguyên cố định
   • Tăng đột biến theo cấp số nhân
3. Trình tối ưu hóa nào đặc biệt được hưởng lợi từ quá trình khởi động vì các ước tính phương sai của nó ban đầu không đáng tin cậy?
   • Đồng SGD không có động lượng
   • Tìm kiếm lưới
   • Adam và các biến thể của nó
   • K-nghĩa là
4. Trong công thức cosine, T đại diện cho cái gì?
   • Nhiệt độ lấy mẫu của mô hình
   • Số lượng GPU được sử dụng
   • Kích thước từ vựng của tokenizer
   • Tổng số bước tập luyện trong lịch trình
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • một
   • One-half
   • số không
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually