グラデーションの消失と爆発に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. バックプロパゲーションにおける勾配の消失と爆発の根本原因はどのような数学的演算ですか?
   • 連鎖ルールによるレイヤーごとの係数の繰り返しの乗算
   • 単一レイヤー全体にグラデーションを追加する
   • 損失をバッチサイズで割る
   • 重みの平方根を求める
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. 長いシーケンスにわたる勾配の問題によって最も深刻な影響を受けるアーキテクチャはどれですか?
   • 2層パーセプトロン
   • 単一の線形回帰
   • 多くのタイムステップにわたって展開されるリカレント ニューラル ネットワーク
   • ルックアップテーブル
4. トレーニング損失が突然 NaN に変わるのを見ると、どの問題を示している可能性が最も高いでしょうか?
   • 消えるグラデーション
   • 完全な収束
   • 学習率が小さすぎる
   • 爆発するグラデーション
5. 残留 (スキップ) 接続は勾配の消失にどのように役立ちますか?
   • これらは、縮小乗算をバイパスして、グラデーションに後方への直接のショートカット パスを与えます。
   • すべての非線形性を除去します
   • 学習率が自動的に向上します
   • 初期のレイヤーを削除します
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect