Bài kiểm tra tối ưu hóa Lookahead và Lion

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Bước tính toán xác định trong bản cập nhật trọng lượng của trình tối ưu hóa Lion là gì?
   • Lấy dấu của số hạng dựa trên động lượng
   • Chia gradient cho bình phương chạy trung bình của nó
   • Tính toán xấp xỉ Hessian bậc hai
   • Trọng lượng trung bình trên nhiều điểm kiểm tra
2. Lookahead cấu trúc tối ưu hóa nó như thế nào?
   • Nó sử dụng một bộ trọng số duy nhất được cập nhật hai lần mỗi bước
   • Nó duy trì các trọng số 'nhanh' được cập nhật bởi trình tối ưu hóa cơ sở và các trọng số 'chậm' được nội suy định kỳ về chúng
   • Nó loại bỏ hoàn toàn động lượng để tiết kiệm bộ nhớ
   • Nó đào tạo hai mạng và tính trung bình kết quả đầu ra của chúng
3. Trình tối ưu hóa Lion ban đầu được phát hiện như thế nào?
   • Bằng cách bắt nguồn từ lý thuyết tối ưu hóa lồi
   • Bằng cách lấy trung bình các cập nhật của SGD và Adam
   • Thông qua tìm kiếm chương trình ký hiệu tự động trên các thuật toán tối ưu hóa
   • Từ một mô phỏng vật lý của chuyển động của hạt
4. So với Adam, lợi thế về trí nhớ chính của Lion là gì?
   • Nó không lưu trữ trạng thái nào cả
   • Nó tự động sử dụng trọng lượng có độ chính xác một nửa
   • Nó chia sẻ trạng thái trên tất cả các lớp
   • Nó chỉ giữ một bộ đệm động lượng thay vì hai bộ căng trạng thái của Adam
5. Tại sao Lion thường yêu cầu tốc độ học tập nhỏ hơn Adam?
   • Bởi vì thao tác ký hiệu làm cho cường độ của mọi bản cập nhật đều đồng đều, mở rộng bước một cách hiệu quả
   • Bởi vì nó không sử dụng động lượng
   • Bởi vì nó xử lý các lô lớn hơn
   • Bởi vì nó vô hiệu hóa quá trình giảm cân
6. Lợi ích thiết thực của Lookahead là nó có xu hướng thực hiện việc đào tạo:
   • Nhạy cảm hơn với việc lựa chọn siêu tham số
   • Ổn định và mạnh mẽ hơn, giảm dao động
   • Chậm hơn mỗi bước theo hệ số mười
   • Không tương thích với Adam hoặc SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop