그라데이션 클리핑 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 업데이트를 제한하는 동안 표준별 그라디언트 클리핑은 주로 무엇을 보존합니까?
   • 전체 그래디언트 업데이트 방향
   • 모든 그래디언트의 정확한 크기
   • 모델 매개변수의 수
   • 학습률 일정
2. 임계값 c를 사용하는 클립별 노름에서 그래디언트 노름 g_norm이 c를 초과하면 어떻게 되나요?
   • 그라데이션이 0으로 설정되었습니다.
   • 각 그래디언트에 c / g_norm을 곱합니다.
   • 훈련 중지
   • 학습률이 2배가 됩니다.
3. 그라디언트 클리핑은 어떤 문제를 해결하기 위해 특별히 고안되었습니까?
   • 사라지는 그라데이션
   • 느린 데이터 로딩
   • 폭발하는 그라디언트
   • 검증 세트에 과적합
4. 값별 클립은 표준별 클립과 어떻게 다릅니까?
   • 항상 업데이트 방향을 유지합니다.
   • 컨볼루셔널 레이어에서만 작동합니다.
   • 그라데이션을 완전히 제거합니다.
   • 각 그라데이션 구성요소를 독립적으로 범위에 고정하여 방향을 변경할 수 있습니다.
5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
   • Scales the full gradient vector down to the configured threshold when the norm exceeds it
   • Changes the model’s labels
   • Drops every gradient component independently
   • Increases the learning rate until the loss recovers
6. 차등 비공개 학습(DP-SGD)에서 예제별 그래디언트 클리핑은 어떤 역할을 합니까?
   • 데이터를 암호화합니다.
   • 보정된 노이즈가 개인정보 보호를 보장할 수 있도록 각 예시의 영향력을 제한합니다.
   • 배치 크기가 늘어납니다.
   • 손실 함수가 필요하지 않습니다.
7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
   • 2개
   • One quarter
   • One half (c divided by 2c)
   • It is left unchanged
8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
   • To make all examples have the same label
   • To remove the need for a privacy budget
   • To increase the norm of rare-class gradients
   • To bound an individual example’s influence on the released update