사라지고 폭발하는 그라디언트 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 역전파의 어떤 수학적 연산이 그래디언트 소멸 및 폭발의 근본 원인입니까?
   • 체인 규칙을 통해 레이어별 요소를 반복적으로 곱합니다.
   • 단일 레이어에 그라디언트 추가
   • 손실을 배치 크기로 나누기
   • 가중치의 제곱근을 구함
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. 긴 시퀀스에 대한 그래디언트 문제로 인해 가장 심각한 영향을 받는 아키텍처는 무엇입니까?
   • 2층 퍼셉트론
   • 단일 선형 회귀
   • 여러 시간 단계에 걸쳐 펼쳐진 순환 신경망
   • 조회 테이블
4. 훈련 손실이 갑자기 NaN으로 바뀌는 것은 어떤 문제를 나타낼 가능성이 가장 높습니까?
   • 사라지는 그라데이션
   • 완벽한 융합
   • 학습률이 너무 작습니다.
   • 폭발하는 그라디언트
5. 잔여(건너뛰기) 연결은 그래디언트 소멸에 어떻게 도움이 됩니까?
   • 축소되는 곱셈을 우회하여 그라디언트에 역방향 직접 지름길을 제공합니다.
   • 모든 비선형성을 제거합니다.
   • 자동으로 학습률을 높입니다.
   • 초기 레이어를 삭제합니다.
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect