워밍업 및 코사인 어닐링 일정 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 훈련 시작 시 준비 단계의 주요 목적은 무엇입니까?
   • 가중치가 무작위이고 기울기에 노이즈가 있는 경우 초기 훈련을 안정화하려면
   • 배치 크기를 점진적으로 늘리려면
   • 모델의 하단 레이어를 고정하려면
   • 더 빠른 추론을 위해 모델을 압축하려면
2. 코사인 어닐링은 어떤 형태에 따라 학습률을 감소시킵니까?
   • 직선 대각선
   • 높게 시작하고, 완화되고, 0 근처에서 평탄해지는 코사인 곡선
   • 고정된 에포크에서 떨어지는 계단 함수
   • 기하급수적으로 상승
3. 분산 추정치가 초기에 신뢰할 수 없기 때문에 특히 준비 작업을 통해 이점을 얻는 최적화 프로그램은 무엇입니까?
   • 모멘텀이 없는 일반 SGD
   • 그리드 검색
   • 아담과 그 변종
   • K-평균
4. 코사인 공식에서 T는 무엇을 나타냅니까?
   • 샘플링을 위한 모델의 온도
   • 사용된 GPU 수
   • 토크나이저 어휘 크기
   • 일정의 총 훈련 단계 수
5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
   • Cosine decay begins from the peak learning rate
   • All model weights are reset
   • The schedule switches to a constant zero rate
   • Momentum is removed from every optimizer
6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
   • The full target rate
   • About half of the target rate
   • The learning rate is exactly zero
   • Twice the target rate
7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
   • 하나
   • One-half
   • 영
   • It becomes negative one
8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
   • It guarantees a global minimum
   • It increases the model’s parameter count
   • It removes the need to check training loss
   • It lets the rate ease down so optimization can settle gradually