CPU および NVMe へのオプティマイザー状態オフロードに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. オプティマイザーの状態を CPU または NVMe にオフロードする主な目的は何ですか?
   • モデルをより正確にするには
   • 必要なトレーニング エポックの数を減らすには
   • グラデーションの必要性を完全に排除するには
   • 不足している GPU メモリを解放して、より大きなモデルに適合させるため
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. 大規模なオプティマイザのオフロードを普及させたフレームワーク機能はどれですか?
   • 新しいアクティベーション関数
   • JPEG画像圧縮
   • DeepSpeed ZeRO-Offload および ZeRO-Infinity
   • グラデーションクリッピング
4. CPU または NVMe へのオフロードによる主なパフォーマンス コストはどれくらいですか?
   • データは PCIe やディスクなどの低速リンクを経由して移動する必要があるため、遅延が発生します。
   • モデルは以前のトレーニングを忘れます
   • オプティマイザが数学的に正しくなくなる
   • GPU温度が下がりすぎる
5. オフロードシステムは転送遅延の多くをどのようにして隠しているのでしょうか?
   • バックパスをスキップすることで
   • データのプリフェッチと進行中の GPU 計算をオーバーラップすることによって
   • 一度に 1 つのパラメータのみをトレーニングすることによって
   • 混合精度を無効にすることで
6. ZeRO-Offload では、Adam オプティマイザー ステップはどこで頻繁に実行されますか?
   • 完全にNVMeコントローラー上で
   • 別のディスプレイ GPU 上
   • CPU 上で、そこに保存されているマスター ウェイトとモーメントを使用
   • ネットワークスイッチ内部
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time