バッチ正規化クイズ

クイズに答えると、答えと解説が表示されます。

1. バッチ正規化は何を正規化しますか?
   • 現在のミニバッチのサンプルにわたるレイヤーへの入力
   • ネットワークの最終出力ラベル
   • 長期にわたる学習率のスケジュール
   • トレーニング データセットのサイズ
2. バッチ正規化に学習可能なパラメータ ガンマとベータが含まれるのはなぜですか?
   • データセットのサイズを増やすには
   • ネットワークを拡張して正規化された値をシフトさせ、表現力を維持するため
   • トレーニング中にニューロンをランダムにドロップするには
   • 損失関数を計算するには
3. バッチ正規化の実際的な利点としてよく挙げられるのは何ですか?
   • トレーニング データが不要になります
   • モデルが過適合しないことを保証します
   • より高い学習率と、より高速で安定した収束が可能になります。
   • アクティベーション関数が不要になります
4. 推論時 (新しいデータの予測)、バッチ正規化ではどのような統計が使用されますか?
   • 現在の単一入力のみの平均と分散
   • 毎回ランダムに生成される統計
   • 事前に計算されたテストセットの統計
   • トレーニング中に蓄積された平均と分散の移動平均
5. バッチサイズが非常に小さい場合、バッチ正規化が適切に動作しないのはなぜですか?
   • バッチ統計にノイズが多くなり、真の分布の推定値が信頼できなくなる
   • バッチが小さいとモデルが大きすぎてメモリに収まらなくなる
   • アクティベーション機能を無効にします
   • 小さなバッチでは L1 正規化の使用が強制されます
6. バッチ正規化の代替としてトランス アーキテクチャで最も一般的に使用されている正規化手法はどれですか?
   • ドロップアウトの正規化
   • レイヤーの正規化
   • 損失の L2 正規化
   • グラデーションクリッピング
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function