アクティベーションの再計算のトレードオフに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. メモリを節約するためにアクティベーションの再計算は何を犠牲にするのでしょうか?
   • モデルの精度
   • 追加のコンピューティング (FLOP)
   • ネットワーク帯域幅
   • 数値精度
2. 通常、フォワードパスアクティベーションが保存されるのはなぜですか?
   • ユーザーに表示するには
   • モデルを圧縮するには
   • トークン化に必要です
   • バックプロパゲーションでは勾配を計算するためにそれらが必要であるため
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. 選択的 (完全ではない) 再計算の背後にある考え方は何ですか?
   • すべての操作を 2 回再計算する
   • 何も再計算しないでください
   • 埋め込み層のみを再計算する
   • メモリを多く消費するが計算コストの低い操作のみを再計算し、高価な操作をキャッシュします
6. さらにメモリを節約するために再計算と組み合わせられることが多い補完的な手法はどれですか?
   • バッチサイズを増やす
   • アクティベーションを CPU または NVMe にオフロードする
   • すべての正規化レイヤーを削除する
   • 推論モードへの切り替え
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer