ガイド連動クイズ · ハード レベル

完全にシャード化されたデータの並列クイズ

大規模な分散モデルのトレーニングにおける FSDP シャーディング、オールギャザーとリデュース散乱、通信のオーバーラップ、メモリとネットワークのトレードオフについて説明します。

関連するガイドパス完全にシャード化されたデータ並列
質問 1 の 8

標準のデータ並列処理では実行できない、FSDP の GPU 間でのシャーディングとは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 標準のデータ並列処理では実行できない、FSDP の GPU 間でのシャーディングとは何ですか?
    • パラメーター、勾配、およびオプティマイザーの状態
    • 入力バッチのみ
    • 学習率スケジュールのみ
    • ディスク上のトレーニング データセット ファイル
  2. FSDP がレイヤを計算する直前にレイヤの全重みを再構築するために使用する集合演算はどれですか?
    • ブロードキャストのみ
    • 全員集合
    • 散布
    • バリア
  3. FSDP がレイヤーの計算直後に収集された全重みを解放するのはなぜですか?
    • 未使用のグラデーションを破損するには
    • トレーニング ループを強制的に遅くするには
    • 永続的なメモリのフットプリントをデバイスごとに 1 つのシャードのみに維持するには
    • PyTorch がランダムに削除するため
  4. FSDP は主に、初期のメモリ最適化アプローチからインスピレーションを得たのはどれですか?
    • Google の MapReduce
    • Apache Spark RDD
    • NVIDIAのCUDAコア
    • Microsoft の ZeRO (ゼロ冗長オプティマイザー)
  5. FSDP は重みの収集からネットワーク遅延の大部分をどのようにして隠しますか?
    • 通信と計算をオーバーラップさせることで、次の層のパラメータを先読みする
    • バックワードパスを無効にすることで
    • 重みを 1 ビットに圧縮することで
    • CPUのみでトレーニングすることで
  6. どの集合操作が、結合された勾配スライスをバックワード パスで所有する GPU に分配しますか?
    • 全対全複製
    • 散乱の低減
    • シングル GPU のコピー
    • 集合限定
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication