Bài kiểm tra tích lũy gradient

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Tích lũy độ dốc chủ yếu cho phép bạn làm gì?
   • Đào tạo mà không cần GPU
   • Bỏ qua đường chuyền ngược
   • Mô phỏng kích thước lô hiệu quả lớn hơn trên bộ nhớ hạn chế
   • Loại bỏ hoàn toàn trình tối ưu hóa
2. Với các bước tích lũy cỡ vi mô 4 và 8, cỡ lô hiệu quả là:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • Sau mỗi đợt vi mô
   • không bao giờ
   • Trước khi vượt qua
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Để duy trì tốc độ học hiệu quả chính xác, tổn thất trên mỗi vi mô thường là:
   • nhân với N
   • Chia cho số bậc tích lũy N
   • Đặt về 0
   • Thay thế bằng độ chính xác
5. Lớp chuẩn hóa nào kết hợp rõ ràng hơn với sự tích lũy độ dốc?
   • Chuẩn hóa lớp hoặc nhóm, vì chúng không phụ thuộc vào số liệu thống kê hàng loạt
   • Chuẩn hóa hàng loạt, vì nó yêu thích các lô nhỏ
   • Không có sự chuẩn hóa nào hoạt động với nó
   • Chỉ bỏ học
6. Chi phí chính của việc sử dụng tích lũy độ dốc là:
   • Nhiều bộ nhớ GPU được sử dụng hơn ở mức cao nhất
   • Mất tất cả độ dốc
   • Thời gian đồng hồ treo tường dài hơn cho mỗi lần cập nhật hiệu quả
   • Không thể sử dụng trình tối ưu hóa
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch