가중치 초기화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모든 가중치를 0으로 초기화하는 것이 왜 치명적인 실수입니까?
   • 모든 뉴런은 동일한 기울기를 받으며 결코 차별화되지 않습니다(대칭성은 깨지지 않음).
   • 훈련이 너무 빨라요
   • 손실이 마이너스가 되는 원인이 됩니다.
   • 메모리를 너무 많이 사용합니다.
2. 그(Kaiming) 초기화는 어떤 활성화 기능을 위해 특별히 설계되었습니까?
   • 시그모이드
   • ReLU
   • 탄
   • 소프트맥스
3. 원칙적인 가중치 초기화 방식의 주요 목표는 무엇입니까?
   • 모든 가중치를 동일하게 하려면
   • 모든 가중치를 하나로 설정하려면
   • 레이어 전체에서 활성화 및 그래디언트의 변화를 거의 일정하게 유지하려면
   • 데이터의 필요성을 없애기 위해
4. Xavier(Glorot) 초기화는 어떤 활성화를 사용하는 네트워크에 가장 적합합니까?
   • ReLU와 그 변형
   • 선형 활성화만 가능
   • 전혀 활성화되지 않음
   • 탄(Tanh)과 시그모이드(Sigmoid)
5. He 초기화에서 1/fan_in이 아닌 2/fan_in의 분산을 사용하는 이유는 무엇입니까?
   • ReLU가 입력의 대략 절반을 0으로 설정하는 것을 보상하기 위해
   • 아무 이유 없이 무게를 더 크게 만들기 위해
   • 매개변수 수를 줄이려면
   • 배치 크기를 일치시키려면
6. 가중치가 무작위로 초기화될 때 편향은 일반적으로 어떻게 초기화됩니까?
   • 매우 큰 양수 값으로
   • 0으로 설정(임의의 가중치로 인해 대칭이 이미 깨졌으므로).
   • 학습률과 동일한 값으로
   • 가중치보다 큰 임의의 값
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32