Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra lý thuyết hạt nhân tiếp tuyến thần kinh

Kiểm tra cách Hạt nhân tiếp tuyến thần kinh liên kết việc đào tạo mạng có chiều rộng vô hạn với các phương thức hạt nhân và động lực không gian hàm trong một giới hạn được tuyến tính hóa.

Đường dẫn hướng dẫn liên quanLý thuyết hạt nhân tiếp tuyến thần kinh
Câu hỏi 1 của 8

Trong giới hạn chiều rộng vô hạn, Hạt nhân tiếp tuyến thần kinh hoạt động như thế nào trong quá trình đào tạo?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Trong giới hạn chiều rộng vô hạn, Hạt nhân tiếp tuyến thần kinh hoạt động như thế nào trong quá trình đào tạo?
    • Về cơ bản nó không đổi
    • Nó thay đổi nhanh chóng theo từng bước
    • Nó trở thành số không
    • Nó phát triển theo cấp số nhân
  2. NTK về mặt toán học là gì?
    • Hessian của sự mất mát
    • Tích bên trong của gradient tham số của mạng cho hai đầu vào
    • Softmax của đầu ra
    • Sự khác biệt của trọng số
  3. Ai đã giới thiệu hạt nhân tiếp tuyến thần kinh?
    • Hinton và Salakhutdinov
    • LeCun và Bengio
    • Jacot, Gabriel và Hongler (2018)
    • Vaswani và cộng sự
  4. Chế độ 'lười tập luyện' là gì?
    • Khi việc đào tạo bị tạm dừng
    • Khi trình tối ưu hóa không sử dụng động lượng
    • Khi dữ liệu được nạp chậm
    • Khi các tham số hầu như không di chuyển từ quá trình khởi tạo và mạng hoạt động tuyến tính
  5. Hạn chế chính của lý thuyết NTK đối với các mạng thực là nó bỏ sót:
    • Học tính năng trong mạng có chiều rộng hữu hạn
    • Vai trò của việc giảm độ dốc
    • Sự tồn tại của trọng số
    • Việc sử dụng dữ liệu đào tạo
  6. Bởi vì NTK giảm việc đào tạo thành hồi quy kernel, điều gì có thể xảy ra?
    • Loại bỏ sự cần thiết của bất kỳ dữ liệu nào
    • Dự đoán đầu ra được đào tạo mà không cần đào tạo đầy đủ
    • Chạy mô hình không có tham số
    • Đảm bảo luôn không có lỗi kiểm tra
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Mô hình Markov ẩn
    • Một tập hợp cây quyết định
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space