モデルとパイプラインの並列性に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. モデルとパイプラインの並列処理はどのような基本的な問題を解決しますか?
   • モデルが大きすぎて単一の GPU のメモリに収まらない
   • ディスクからのデータの読み込みが遅い
   • トレーニング中に爆発する勾配
   • 利用可能なトレーニング例が少なすぎます
2. テンソル (層内) 並列処理の分割はどのように機能しますか?
   • レイヤー全体を異なる GPU に割り当てます
   • 行列の乗算のように、レイヤー内の演算を GPU 間で分割します。
   • すべての GPU で各レイヤーを複製します
   • 冗長性を確保するために各レイヤーを 2 回実行します
3. 単純なパイプライン並列処理における「バブル」とは何ですか?
   • 時間の経過とともに増大するメモリリーク
   • オプティマイザー状態の複製コピー
   • ダウンストリーム GPU がアップストリーム ステージでアクティベーションを生成するのを待機するアイドル時間
   • 勾配値の急増
4. パイプラインの並列化によってバブルはどのように軽減されるのでしょうか?
   • より小さい学習率を使用することにより
   • モデルからいくつかのレイヤーを削除することで
   • アクティベーションを CPU に保存することにより
   • 各バッチをマイクロバッチに分割し、段階をずらして通過させることによって
5. テンソル並列処理が通常単一ノード内に保持されるのはなぜですか?
   • 部分的な結果を頻繁にすべて削減するため、NVLink のような高速なノード内リンクの恩恵を受けることができます。
   • コミュニケーションを必要としないので、
   • ノードはデータをまったく共有できないため、
   • GPU が 1 つしかサポートされていないため、
6. トランスフォーマーのトレーニングにおけるテンソル並列処理で最もよく知られているフレームワークはどれですか?
   • scikit-learn
   • NVIDIA メガトロン-LM
   • OpenCV
   • パンダ
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation