深入探讨
In standard data parallelism, each worker holds a model replica, processes a local batch, and participates in gradient synchronization. This can improve throughput, but each replica still needs memory for the model and optimizer state. PyTorch DistributedDataParallel synchronizes gradients and can overlap communication with backward computation. Scaling depends on compute, communication, batch size, network topology, and input pipeline; adding GPUs does not guarantee proportional throughput.
现实世界的实施
Replicate a model across GPUs and split each batch across workers.
Use gradient accumulation to increase effective batch size across steps.
Profile all-reduce communication as worker count increases.
Compare scaling efficiency at matched model, batch, and hardware.
数据并行的未来
Distributed training continues to combine data, tensor, and pipeline parallelism. Benchmark throughput and convergence on the target system instead of assuming ideal linear scaling.
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
What is Data Parallelism?
数据并行性在工作人员之间复制模型，并为每个工作人员提供不同的示例，在训练期间同步梯度或参数。
在标准数据并行性中，每个 GPU 保存什么？
每个 GPU 都保留模型的完整副本，并处理数据批次的不同部分，这就是它的“数据”并行性而不是模型并行性的原因。
哪个通信操作使模型副本每一步保持同步？
每次向后传递后，梯度都会通过 all-reduce 跨设备进行组合（通常先求和然后求平均值），因此每个副本都应用相同的更新。
What memory limit remains in plain data parallelism?
The proposed guide says plain DDP replicates model parameters and optimizer state on each device; data parallelism therefore does not shard the model to fit a larger checkpoint.
Which factors does NCCL use when selecting collective algorithms?
NCCL documentation describes algorithm selection in terms of the collective, message size, and system topology.
PyTorch DistributedDataParallel 如何隐藏通信延迟？
DDP 开始同步较早层的梯度，而较晚的层仍在计算中，从而使网络通信与计算重叠。