レイヤー正規化クイズ

クイズに答えると、答えと解説が表示されます。

1. レイヤーの正規化では、何を対象として平均と分散が計算されますか?
   • 単一の例の機能全体
   • ミニバッチ内のすべての例にわたって
   • ネットワーク内のすべての重みにわたって
   • 複数のトレーニング エポックにわたって
2. トランスフォーマーではバッチ正規化よりもレイヤー正規化が優先されるのはなぜですか?
   • 非常に大きなバッチサイズが必要です
   • バッチサイズに依存せず、可変長シーケンスを処理します。
   • 学習可能なパラメータが不要になります。
   • 推論中にのみ機能します
3. 学習可能なパラメータ gamma と beta は LayerNorm に何をさせるのでしょうか?
   • 学習率を選択してください
   • レイヤー数を設定する
   • ネットワークが有用な表現を回復できるように、正規化された出力を再スケーリングしてシフトします。
   • アクティベーション関数の必要性をなくす
4. RMSNorm は標準の LayerNorm とどのように異なりますか?
   • 代わりにバッチ全体で正規化します
   • パラメータも除算も使用しません
   • 画像に対してのみ機能します
   • 平均減算をスキップし、二乗平均平方根のみで除算します。
5. 層の正規化は主にディープ ネットワークで解決に役立つ問題は何ですか?
   • 活性化が非常に異なるスケールに変動し、トレーニングが不安定になる
   • ディスク容量が不足しています
   • 適切なデータセットの選択
   • モデルの重みを暗号化する
6. 非常に深いトランスで「プレノルム」配置がよく使用されるのはなぜですか?
   • モデルが小さくなります
   • 各サブレイヤーの前に正規化すると、深いスタックのトレーニングがより簡単かつ安定になります。
   • 注意メカニズムを取り除く
   • 学習率が自動的に2倍になります
7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
   • To make the batch size larger
   • To replace the learnable scale
   • To avoid division by zero and improve numerical stability
   • To compute the sequence length
8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
   • It restores the original unnormalized inputs exactly
   • It applies a softmax over features
   • It changes the statistics to be batch-dependent
   • It leaves the normalized values unchanged after the mean-and-variance scaling