학습률 예약 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 학습률 일정에서 '준비' 단계의 목적은 무엇인가요?
   • 작은 속도로 시작하여 증가하여 초기 노이즈 그라데이션으로 인한 불안정성을 방지합니다.
   • 최종 정확도를 낮추려면
   • 처음 몇 개의 데이터 배치를 건너뛰려면
   • 시작 시 모든 가중치를 고정하려면
2. 최소 비율을 향해 반코사인 곡선을 부드럽게 따라가는 일정은 무엇입니까?
   • 끊임없는 일정
   • 코사인 어닐링
   • 무작위 일정
   • 선형 증가
3. 학습률을 너무 높게 설정하면 어떻게 되나요?
   • 훈련은 완벽한 정확도로 즉시 수렴됩니다.
   • 모델 학습 속도는 느리지만 항상 성공합니다.
   • 손실은 감소하는 대신 발산하거나 진동할 수 있습니다.
   • 아무것도 변하지 않습니다. 금리는 아무런 영향을 주지 않습니다
4. 단계 붕괴는 학습률에 어떤 영향을 미치나요?
   • 배치마다 선형적으로 증가합니다.
   • 완벽하게 일정하게 유지합니다
   • 각 단계마다 무작위로 설정합니다.
   • 미리 정의된 에포크에서 고정된 요소만큼 삭제합니다.
5. What does a warm restart do to a learning-rate schedule?
   • It raises the learning rate again to begin another schedule cycle
   • It resets the model parameters to random values
   • It permanently fixes the learning rate at zero
   • It deletes the optimizer’s moment estimates
6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
   • It removed the need for a validation set
   • It eased early optimization difficulties after the learning-rate scale increased with batch size
   • It changed the model architecture after each epoch
   • It converted the learning-rate curve into a cosine wave
7. In the cosine formula, what does T denote?
   • The number of model layers
   • 배치 크기
   • The schedule horizon or total number of steps used for the decay
   • The optimizer’s momentum coefficient
8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
   • Exactly zero regardless of lr_min
   • The original warmup starting rate
   • An unbounded value
   • The specified minimum learning rate