모멘텀 퀴즈를 사용한 확률적 경사하강법

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 훈련 중에 운동량 항은 무엇을 축적합니까?
   • 총 훈련 시대 수
   • 과거 기울기의 실행(지수 가중) 평균
   • 데이터 세트의 크기
   • 모델의 정확도 내역
2. 길고 좁은 계곡에서 일반 SGD가 겪고 있는 문제는 모멘텀이 해결하는 데 도움이 됩니까?
   • 숫자로 넘쳐나네
   • 그라데이션 계산이 중지됩니다.
   • 자동으로 학습률을 높여줍니다.
   • 바닥을 따라 천천히 진행하면서 가파른 벽을 지그재그로 가로지릅니다.
3. 운동량 계수의 일반적인 기본값은 다음과 같습니다.
   • 0.9
   • 0.0
   • 0.5
   • 2.0
4. 운동량을 설명하기 위해 가장 자주 사용되는 물리적 비유는 무엇입니까?
   • 영원히 흔들리는 진자
   • 다시 돌아오는 스프링
   • 내리막길을 굴러가는 무거운 공
   • 물 동결
5. 베타 = 0.9일 때 모멘텀은 일관된 방향으로 유효 스텝을 대략 얼마나 증폭합니까?
   • 약 2회
   • 약 0.1배
   • 증폭 없음
   • 약 10배
6. 어떤 최신 옵티마이저가 모멘텀 스타일의 첫 번째 순간 추정을 통합합니까?
   • 뉴턴의 방법
   • 아담
   • K-평균
   • 무작위 검색
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely