Nesterov 가속 그라디언트 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 고전적인 모멘텀과 비교하여 Nesterov Accelerated Gradient의 정의 아이디어는 무엇입니까?
   • 운동량을 완전히 제거합니다.
   • 고정 학습률 1.0을 사용합니다.
   • 현재 위치가 아닌 미리 보는 지점에서 기울기를 평가합니다.
   • 미니 배치 없이만 작동합니다.
2. Nesterov의 방법이 매끄러운 볼록 문제에 대해 달성할 수 있는 증명 가능한 수렴 속도는 얼마입니까?
   • 주문 1/k^2
   • 주문 1/k
   • 주문 1/로그 k
   • 보장된 요금 없음
3. 이 가속 경사법을 최초로 도입한 사람은 누구입니까?
   • 2012년 제프리 힌튼
   • 아이작 뉴턴
   • 존 폰 노이만
   • 1983년의 유리 네스테로프
4. 예견 그라데이션이 곡선 최소값 근처에서 도움이 되는 이유는 무엇입니까?
   • 학습률을 높여줍니다
   • 오버슈트를 예상하고 오버슈트가 발생하기 전에 수정 사항을 적용합니다.
   • 속도항을 삭제합니다.
   • 단계 방향을 무작위로 지정합니다.
5. 실제로 Nesterov 모멘텀의 계산 비용은 기존 모멘텀과 어떻게 비교됩니까?
   • 대수적으로 재배열된 업데이트 덕분에 거의 동일합니다.
   • 10배 정도 높아요
   • 모든 단계마다 2차 파생이 필요합니다.
   • GPU에서는 계산할 수 없습니다.
6. Nesterov 예측과 Adam 스타일 확장을 결합한 적응형 최적화 프로그램은 무엇입니까?
   • RMSprop
   • 아다그라드
   • 나담
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position