Bài kiểm tra lập kế hoạch tỷ lệ học tập

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục đích của giai đoạn 'khởi động' trong lịch trình tỷ lệ học tập là gì?
   • Để bắt đầu với tốc độ nhỏ và tăng dần, tránh sự mất ổn định do độ dốc nhiễu sớm
   • Để làm cho độ chính xác cuối cùng thấp hơn
   • Để bỏ qua một vài lô dữ liệu đầu tiên
   • Để đóng băng tất cả các trọng lượng khi bắt đầu
2. Lịch trình nào đi theo đường cong nửa cosin một cách trơn tru hướng tới tốc độ tối thiểu?
   • lịch trình liên tục
   • Ủ cosin
   • Lịch trình ngẫu nhiên
   • tăng tuyến tính
3. Điều gì xảy ra nếu tốc độ học tập được đặt quá cao?
   • Đào tạo hội tụ ngay lập tức với độ chính xác hoàn hảo
   • Mô hình đào tạo chậm hơn nhưng luôn thành công
   • Sự mất mát có thể phân kỳ hoặc dao động thay vì giảm
   • Không có gì thay đổi; tỷ giá không có tác dụng
4. Phân rã bước làm gì với tốc độ học tập?
   • Tăng tuyến tính mỗi đợt
   • Giữ nó hoàn toàn không đổi
   • Đặt ngẫu nhiên từng bước
   • Giảm nó theo một hệ số cố định tại các thời điểm được xác định trước
5. Warm restart thực hiện điều gì đối với lịch trình tốc độ học?
   • It raises the learning rate again to begin another schedule cycle
   • It resets the model parameters to random values
   • It permanently fixes the learning rate at zero
   • It deletes the optimizer’s moment estimates
6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
   • It removed the need for a validation set
   • It eased early optimization difficulties after the learning-rate scale increased with batch size
   • It changed the model architecture after each epoch
   • It converted the learning-rate curve into a cosine wave
7. In the cosine formula, what does T denote?
   • Số lớp mô hình
   • Kích thước lô
   • The schedule horizon or total number of steps used for the decay
   • The optimizer’s momentum coefficient
8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
   • Exactly zero regardless of lr_min
   • The original warmup starting rate
   • An unbounded value
   • The specified minimum learning rate