확률적 가중치 평균 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 확률적 가중치 평균은 실제로 무엇을 평균하나요?
   • 훈련 후반에 여러 지점에서 샘플링된 모델의 가중치
   • 개별적으로 훈련된 여러 모델의 예측
   • 모든 미니 배치에 걸쳐 계산된 기울기
   • 각 에포크 동안 사용된 학습률
2. SWA가 일반화를 개선하는 경향이 있는 이유는 무엇입니까?
   • 훈련 세트를 더 정확하게 기억합니다.
   • 보이지 않는 데이터에 대해 더욱 강력한 더 넓고 평평한 최소값을 찾습니다.
   • 모델의 매개변수 수가 늘어납니다.
   • 검증 세트가 필요하지 않습니다.
3. 배치 정규화를 사용하는 네트워크에 대해 SWA에는 어떤 추가 단계가 필요합니까?
   • 네트워크를 처음부터 다시 훈련하기
   • 배치 크기를 두 배로 늘리기
   • BN 실행 통계를 다시 계산하기 위한 추가 정방향 패스
   • 모든 드롭아웃 레이어 제거
4. SWA 평균화 단계에서는 일반적으로 어떤 학습 속도 동작이 사용됩니까?
   • 학습률이 정확히 0으로 감소했습니다.
   • 안정성을 위한 학습률 1
   • 훈련이 중단되었기 때문에 학습률이 전혀 없습니다.
   • 일정하거나 주기적이며 상대적으로 높은 학습률
5. SWA의 추론 비용은 N 모델의 기존 앙상블과 어떻게 비교됩니까?
   • 결과는 하나의 가중치 세트이므로 대략 단일 모델 비용이 듭니다.
   • N배 더 비싸요
   • N 모델을 실행하는 것과 동일합니다.
   • 추론에는 사용할 수 없습니다.
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress