신경 접선 커널 이론 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 무한 너비 제한에서 신경 접선 커널은 훈련 중에 어떻게 동작합니까?
   • 본질적으로 일정하게 유지됩니다.
   • 매 단계마다 빠르게 변화합니다.
   • 0이 된다
   • 기하급수적으로 늘어나네요
2. NTK는 수학적으로 무엇인가요?
   • 손실의 헤세 행렬
   • 두 입력에 대한 네트워크 매개변수 기울기의 내적
   • 출력의 소프트맥스
   • 가중치의 분산
3. Neural Tangent Kernel을 누가 소개했습니까?
   • 힌튼과 살라쿠트디노프
   • 르쿤과 벤지오
   • 자코, 가브리엘, 홍글러(2018)
   • 바스와니와 동료들
4. '게으른 훈련' 체제는 무엇입니까?
   • 훈련이 일시 중지된 경우
   • 옵티마이저가 모멘텀을 사용하지 않는 경우
   • 데이터가 천천히 입력되는 경우
   • 매개변수가 초기화에서 거의 이동하지 않고 네트워크가 선형적으로 동작하는 경우
5. 실제 네트워크에 대한 NTK 이론의 주요 한계는 다음을 놓치고 있다는 것입니다.
   • 유한 너비 네트워크의 특징 학습
   • 경사하강법의 역할
   • 가중치의 존재
   • 훈련 데이터의 사용
6. NTK는 훈련을 커널 회귀로 줄이므로 무엇이 가능합니까?
   • 데이터의 필요성 제거
   • 완전히 훈련하지 않고 훈련된 출력 예측
   • 매개변수 없이 모델 실행
   • 항상 제로 테스트 오류 보장
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • 숨겨진 마르코프 모델
   • 의사결정 트리 앙상블
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space