레이어 정규화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 레이어 정규화는 무엇을 통해 평균과 분산을 계산합니까?
   • 단일 예시의 기능 전반에 걸쳐
   • 미니 배치의 모든 예시에서
   • 네트워크의 모든 가중치에 걸쳐
   • 여러 훈련 시대에 걸쳐
2. 변환기에서 배치 정규화보다 레이어 정규화가 선호되는 이유는 무엇입니까?
   • 매우 큰 배치 크기가 필요합니다.
   • 배치 크기에 독립적이며 가변 길이 시퀀스를 처리합니다.
   • 학습 가능한 매개변수가 필요하지 않습니다.
   • 추론 중에만 작동합니다.
3. 학습 가능한 매개변수 감마와 베타를 통해 LayerNorm은 무엇을 할 수 있나요?
   • 학습률을 선택하세요
   • 레이어 수 설정
   • 네트워크가 유용한 표현을 복구할 수 있도록 정규화된 출력의 크기를 조정하고 이동합니다.
   • 활성화 기능의 필요성 제거
4. RMSNorm은 표준 LayerNorm과 어떻게 다릅니까?
   • 대신 배치 전반에 걸쳐 정규화됩니다.
   • 매개변수나 나누기를 사용하지 않습니다.
   • 이미지에서만 작동합니다.
   • 평균 빼기를 건너뛰고 평균 제곱근으로만 나눕니다.
5. 계층 정규화는 주로 심층 네트워크에서 어떤 문제를 해결하는 데 도움이 됩니까?
   • 매우 다른 규모로 표류하는 활성화로 인해 훈련이 불안정해집니다.
   • 디스크 공간 부족
   • 올바른 데이터 세트 선택
   • 모델 가중치 암호화
6. 매우 깊은 변압기에서 '사전 표준' 배치가 자주 사용되는 이유는 무엇입니까?
   • 모델을 더 작게 만듭니다.
   • 각 하위 계층 이전에 정규화하면 딥 스택을 더 쉽고 안정적으로 학습할 수 있습니다.
   • 주의 메커니즘을 제거합니다.
   • 자동으로 학습률을 두 배로 늘립니다.
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling