Bài kiểm tra giảm cân và chính quy hóa L2

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Chính quy hóa L2 thêm gì vào hàm mất?
   • Số lớp trong mạng
   • Hình phạt về tỷ lệ học tập
   • Số lượng ví dụ huấn luyện
   • Một hình phạt tỷ lệ thuận với tổng trọng số bình phương
2. Vấn đề chính mà việc giảm cân giúp ngăn ngừa là gì?
   • Tải dữ liệu chậm
   • Trang bị quá mức, trong đó mô hình ghi nhớ tiếng ồn trong dữ liệu huấn luyện
   • Lỗi phần cứng
   • Nhãn không chính xác
3. Sự phân rã trọng lượng đẩy trọng lượng của mô hình theo hướng nào?
   • Hướng tới vô cùng
   • Hướng tới trọng lượng lớn nhất
   • Hướng tới số không
   • Hướng tới giá trị ngẫu nhiên
4. Tại sao AdamW được giới thiệu?
   • Để tách sự suy giảm trọng số khỏi bản cập nhật độ dốc thích ứng để quá trình phân rã hoạt động chính xác
   • Để loại bỏ hoàn toàn gradient
   • Để làm cho việc đào tạo chậm hơn có mục đích
   • Để loại bỏ sự cần thiết của một tỷ lệ học tập
5. Đối với việc giảm độ dốc ngẫu nhiên đơn giản, việc chuẩn hóa L2 và giảm trọng số có liên quan như thế nào?
   • Họ luôn đối lập nhau
   • Chúng tương đương về mặt toán học
   • Giảm trọng lượng vô hiệu hóa độ dốc
   • L2 chỉ hoạt động với SGD có động lượng
6. Hệ số lambda kiểm soát điều gì trong quá trình chuẩn hóa L2?
   • Kích thước lô
   • Số kỷ nguyên
   • Chức năng kích hoạt
   • Sức mạnh của hình phạt trên trọng lượng lớn
7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
   • Adaptive per-parameter gradient scaling can distort the coupled penalty
   • Adam cannot train with any regularization
   • The two methods use different training labels
   • Decoupled decay removes the data loss
8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
   • Only the number of classes
   • Only the model’s input dimension
   • The learning rate and decay coefficient together
   • Only the validation-set size