경사하강법 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. In plain gradient descent, which direction is used relative to the objective's gradient?
   • The negative-gradient direction
   • The positive-gradient direction
   • An arbitrary perpendicular direction by definition
   • A direction chosen without evaluating any gradient
2. 학습률은 무엇을 제어하나요?
   • 모델의 레이어 수
   • 모델이 예측할 수 있는 클래스 수
   • 최적화 중에 수행되는 각 단계의 크기
   • 사용된 훈련 데이터의 양
3. How does a mini-batch gradient relate to the full selected training-data objective?
   • It uses no examples
   • It is computed on the batch and used as an estimate of the full-data gradient
   • It must equal the full-data gradient on every step
   • It only exists for images
4. 학습률이 너무 크면 어떤 문제가 발생할 수 있나요?
   • 훈련은 매우 느리지만 안정적입니다.
   • 모델이 그라데이션을 무시합니다.
   • 데이터세트가 손상되었습니다.
   • 모델이 최소값을 초과하고 분기될 수 있음
5. What information does momentum carry into later gradient-descent updates?
   • Only the model's vocabulary size
   • A permanent deletion of all earlier gradients
   • A running weighted combination of earlier gradients
   • An unrelated random reset of every weight
6. 일반 경사 하강법과 비교하여 Adam 최적화 프로그램의 주요 기능은 무엇입니까?
   • 각 매개변수에 대한 유효 학습률을 조정합니다.
   • 모든 매개변수에 대해 단일 고정 단계를 사용합니다.
   • 그라데이션이 필요하지 않습니다.
   • 출력 레이어만 학습합니다.
7. For plain gradient descent with old weight two, gradient three, and learning rate one-tenth, what is the new weight?
   • Two-point-three
   • One-point-nine-seven
   • 세
   • One-point-seven
8. What does a zero gradient fail to prove for a nonconvex training objective?
   • That the gradient value is zero at the evaluated point
   • That the current point is a global minimum
   • That the objective has been evaluated locally
   • That a stationary-point condition holds