Bài kiểm tra độ dốc tăng tốc của Nesterov

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Ý tưởng xác định độ dốc gia tốc của Nesterov so với động lượng cổ điển là gì?
   • Nó loại bỏ hoàn toàn động lượng
   • Nó sử dụng tỷ lệ học tập cố định là 1.0
   • Nó đánh giá độ dốc ở điểm nhìn về phía trước thay vì vị trí hiện tại
   • Nó chỉ hoạt động mà không có lô nhỏ
2. Phương pháp Nesterov đạt được tốc độ hội tụ nào có thể chứng minh được đối với các bài toán lồi trơn?
   • Lệnh 1/k^2
   • Đặt hàng 1/k
   • Đơn hàng 1/log k
   • Không có tỷ lệ đảm bảo
3. Ai là người đầu tiên giới thiệu phương pháp gradient tăng tốc này?
   • Geoffrey Hinton vào năm 2012
   • Isaac Newton
   • John von Neumann
   • Yury Nesterov năm 1983
4. Tại sao độ dốc nhìn về phía trước lại giúp gần được đường cong cực tiểu?
   • Nó làm tăng tỷ lệ học tập
   • Nó dự đoán sự vượt quá và áp dụng hiệu chỉnh trước khi nó xảy ra
   • Nó xóa thuật ngữ vận tốc
   • Nó ngẫu nhiên hóa hướng bước
5. Trong thực tế, chi phí tính toán của động lượng Nesterov so với động lượng cổ điển như thế nào?
   • Gần giống nhau, nhờ vào bản cập nhật được sắp xếp lại theo đại số
   • Cao hơn khoảng mười lần
   • Nó đòi hỏi đạo hàm bậc hai mỗi bước
   • Nó không thể được tính toán trên GPU
6. Trình tối ưu hóa thích ứng nào kết hợp tính năng nhìn về phía trước của Nesterov với khả năng chia tỷ lệ kiểu Adam?
   • RMSprop
   • Adagrad
   • Nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position