Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra về Adam và Trình tối ưu hóa thích ứng
Kiểm tra các khoảnh khắc độ dốc của Adam, hiệu chỉnh sai lệch, chia tỷ lệ thích ứng, epsilon và cập nhật phân rã trọng số tách rời của AdamW. trong bản cập nhật tham số tiêu chuẩn.
Câu hỏi 1 của 8
Adam theo dõi hai đại lượng nào cho mỗi tham số?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Adam theo dõi hai đại lượng nào cho mỗi tham số?
- Trung bình chạy của độ dốc và độ dốc bình phương
- Độ dốc tối đa và tối thiểu từng thấy
- Tốc độ học tập và kích thước lô
- Giá trị trọng lượng và dấu của nó
- Tại sao Adam áp dụng hiệu chỉnh sai lệch cho ước tính thời điểm của nó?
- Bởi vì độ dốc luôn âm ngay từ đầu trong quá trình huấn luyện
- Bởi vì các đường trung bình động bắt đầu từ 0 và ban đầu có xu hướng về 0
- Để làm cho tốc độ học tập lớn hơn theo thời gian
- Để loại bỏ các điểm dữ liệu ngoại lệ khỏi lô
- Sự khác biệt chính giữa Adam và AdamW là gì?
- AdamW không sử dụng động lực nào cả
- AdamW loại bỏ ước tính thời điểm thứ hai
- AdamW tách riêng sự suy giảm trọng số khỏi bản cập nhật dựa trên độ dốc
- AdamW chỉ hoạt động trên các mạng tích chập
- Thuật ngữ epsilon nhỏ đóng vai trò gì trong quy tắc cập nhật của Adam?
- Nó thiết lập cường độ động lượng
- Nó kiểm soát số lượng kỷ nguyên đào tạo
- Nó làm tăng cường độ gradient
- Nó ngăn chặn việc chia cho 0 và ổn định quá trình cập nhật
- Tại sao Adam thường được mô tả là “có khả năng thích ứng”?
- Nó cung cấp cho mỗi tham số một cách hiệu quả kích thước bước chia tỷ lệ riêng của nó
- Nó thay đổi kiến trúc mạng trong quá trình đào tạo
- Nó điều chỉnh tập dữ liệu cho phù hợp với mô hình
- Nó tự động chuyển đổi giữa phân loại và hồi quy
- Tham số Adam nào kiểm soát tốc độ phân rã theo cấp số nhân của ước tính gradient bình phương của nó?
- Beta1
- Beta2
- Epsilon
- Hệ số suy giảm trọng lượng
- Một tham số liên tục nhận được độ dốc lớn. Đại lượng Adam nào giúp thu nhỏ bước hiệu quả của nó?
- Số lớp mô hình
- Ý nghĩa chuẩn hóa hàng loạt
- Ước tính thời điểm thứ hai của gradient bình phương
- Chỉ riêng thuật ngữ giảm cân AdamW
- Điều gì xảy ra khi beta2 được đặt gần bằng 1, tất cả các yếu tố khác đều bằng nhau?
- Trình tối ưu hóa ngừng sử dụng độ dốc
- Ước tính thời điểm đầu tiên bị xóa
- Sự suy giảm trọng lượng sẽ tự động được tách rời
- Ước tính gradient bình phương phân rã chậm hơn và duy trì lịch sử lâu hơn