大規模モデルのテンソル並列性に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. テンソル並列処理は GPU 間で何を分割しますか?
   • 単一レイヤー内の重み行列
   • レイヤー全体を別々の GPU に配置
   • さまざまなトレーニング データセット
   • オプティマイザーの学習率
2. Megatron スタイルの MLP 分割では、通信を最小限に抑えるために 2 つの重み行列はどのように分割されますか?
   • 両方とも列方向
   • 最初は列方向、2 番目は行方向
   • どちらも行単位で
   • まったく分割されていません
3. テンソル並列処理が通常単一ノード内に保持されるのはなぜですか?
   • ノードは GPU を実行できません
   • 異なるノードの GPU は異なる計算を使用します
   • NVLink が最適な高帯域幅通信を頻繁に行う必要がある
   • それは法的要件です
4. アテンションのメカニズムは通常、テンソル並列処理の下でどのように並列化されるのでしょうか?
   • すべての GPU に冗長な計算をフルに集中させることにより、
   • 注意を完全に無視することで
   • 畳み込みに注意を向けることによって
   • アテンション ヘッド間で分割することで、各 GPU がサブセットを処理します
5. テンソル並列処理で部分的な結果を組み合わせる集合的な操作は何ですか?
   • オールリデュース
   • ファイルのコピー
   • データベース結合
   • DNS ルックアップ
6. テンソル並列処理は通常、「3D 並列処理」にどのように適合しますか?
   • 他のすべての形式の並列処理を置き換えます
   • パイプラインとデータ並列処理を組み合わせます。
   • 他の並列処理なしでのみ機能します
   • 画像モデルのみに使用されます
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates