Bài kiểm tra tối ưu hóa bậc hai và phương pháp Newton

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Phương pháp của Newton sử dụng thông tin gì mà phương pháp giảm độ dốc đơn giản không sử dụng?
   • Độ cong, thông qua đạo hàm bậc hai trong ma trận Hessian
   • Vị trí chính xác của mức tối thiểu toàn cầu
   • Bảng tỷ lệ học tập
   • Số lượng mẫu huấn luyện
2. Để có một vật kính bậc hai hoàn hảo, phương pháp của Newton cần bao nhiêu bước để đạt đến mức tối thiểu?
   • Đúng mười bước
   • Một bước
   • Cùng số với độ dốc giảm dần
   • Nó không bao giờ hội tụ
3. Tại sao phương pháp đầy đủ của Newton không thực tế đối với các mạng thần kinh hàng tỷ tham số?
   • Độ dốc không thể được tính toán
   • Đạo hàm bậc hai luôn bằng 0 trong mạng nơ-ron
   • Hessian là N-by-N, tốn khoảng N bộ nhớ bình phương và tính toán N khối để đảo ngược
   • Nó chỉ hoạt động trên hình ảnh
4. Các phương pháp gần như Newton như BFGS làm gì để tránh chi phí Hessian?
   • Họ hoàn toàn bỏ qua độ dốc
   • Họ đoán ngẫu nhiên độ cong
   • Họ chuyển đổi vấn đề thành một vấn đề tuyến tính
   • Họ xây dựng một phép tính gần đúng của Hessian nghịch đảo từ các chênh lệch độ dốc liên tiếp
5. L-BFGS giảm bộ nhớ như thế nào so với BFGS?
   • Nó chỉ lưu trữ một số vectơ gradient và bước cuối cùng thay vì ma trận đầy đủ
   • Nó chỉ sử dụng phao có độ chính xác đơn
   • Nó loại bỏ gradient sau mỗi bước
   • Nó đào tạo trên ít thông số hơn
6. Cách tiếp cận hiện đại nào gần đúng với độ cong để tăng tốc độ đào tạo mạng lưới thần kinh lớn?
   • Mã hóa một lần
   • Các phương pháp dựa trên Kronecker như K-FAC và Dầu gội
   • Giảm độ dốc ngẫu nhiên đơn giản mà không sửa đổi
   • Bỏ học
7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
   • The learning rate is reduced to zero before the update
   • The Hessian is ignored and only a fixed scalar step is used
   • The full Newton update uses the exact gradient and Hessian of that quadratic
   • The objective is first converted to a linear function
8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
   • It guarantees the global minimum in one step
   • It replaces the need to evaluate a gradient
   • It makes every Hessian positive definite
   • It approximates local curvature, so later iterations may be needed as the model changes