ガイド連動クイズ · ハード レベル

集団コミュニケーションとNCCLクイズ

all-reduce、all-gather、ブロードキャストおよびreduce-scatterロール、NCCLアイデンティティ、ネットワークオフロード、および少額合計削減の例をテストします。

関連するガイドパス集団コミュニケーションと Nccl
質問 1 の 8

all-reduce 操作は分散トレーニングで何を実現しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. all-reduce 操作は分散トレーニングで何を実現しますか?
    • すべての GPU の値を結合し、結合された結果をすべての GPU に提供します。
    • 1 つの GPU から冗長データを削除します
    • GPUのクロック速度を下げて電力を節約します
    • すべての GPU から単一のストレージ ディスクにデータを送信します。
  2. NCCL の頭字語は何ですか?
    • ニューラル コンピューティング クラスター層
    • ネットワークキャッシュ制御ロジック
    • NVIDIA コレクティブ コミュニケーション ライブラリ
    • 数値畳み込み計算ライブラリ
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. 各 GPU のデータをすべての GPU が保持する完全なコピーに収集する集合的な操作はどれですか?
    • ブロードキャスト
    • 散乱の低減
    • バリア
    • 全員集合
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. NCCL は通常、サーバー (ノード) 間の通信にどの相互接続を使用しますか?
    • インフィニバンドまたはRoCE
    • USBケーブル
    • PCIeスロットのみ
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • 全員集合
    • 散乱の低減
    • ブロードキャスト
    • A standalone model checkpoint