勾配累積クイズ

クイズに答えると、答えと解説が表示されます。

1. 勾配累積によって主に何ができるようになりますか?
   • GPU なしでトレーニングする
   • バックパスをスキップする
   • 限られたメモリ上でより大きな有効バッチ サイズをシミュレートする
   • オプティマイザを完全に削除する
2. マイクロバッチ サイズ 4 および 8 の蓄積ステップでは、有効なバッチ サイズは次のようになります。
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • マイクロバッチごとに
   • 決してしない
   • フォワードパスの前に
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. 有効学習率を正確に保つため、マイクロバッチごとの損失は通常次のようになります。
   • Nを掛ける
   • 蓄積ステップ数 N で割った値
   • ゼロに設定する
   • 正確に置き換えられます
5. どの正規化層が勾配累積とよりきれいに組み合わされますか?
   • バッチ統計に依存しないため、レイヤーまたはグループの正規化
   • 小さなバッチを好むため、バッチの正規化
   • 正規化は機能しません
   • ドロップアウトのみ
6. 勾配累積を使用する主なコストは次のとおりです。
   • ピーク時にはより多くの GPU メモリが使用される
   • すべての勾配の損失
   • 効果的なアップデートあたりの実時間の延長
   • オプティマイザーを使用できない
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch