简述数据并行 - DP, DDP, FSDP的数据分片、梯度同步和参数更新过程

1，数据切片到GPU设备

数据并行需要在每个计算设备上都有一份模型拷贝，整个的数据被分片到不同的计算设备计算梯度，为了保持参数的一致性，需要在更新参数前进行梯度参数的通信，进行梯度平均，然后获得一致性的参数更新。

怎样对训练数据进行分片，每个设备能获得不同的batch数据，最后完成整个数据的迭代。

训练设备 testbed：2个主机 (node)，每个主机上有3张GPU计算设备，共6张卡。

名词解释：

• • Host：可以理解为一台主机，每个主机有自己的IP地址，用于通信。
• • Local Rank：每个主机上，对不同GPU设备的编。
• • Global Rank：全局的GPU设备编号，Global Rank = Host * num GPUs per host + Local Rank。
• • Worldsize：总的GPU个数。num Hosts * num GPUs per host

数据分配代码：

indices = indices[self.rank:self.total_size:self.num_replicas]
"""
self.rank 即 Global Rank，
self.total_size，总的数据量。
Self.num_replicas，即worldsize。
"""

在每个host上运行启动命令，建立DDP组，等待每个GPU设备测试通信正常后，即可开始训练。

2，DDP参数更新过程

分布式训练需要同步每个GPU设备上的梯度，获得一致的参数更新。具体步骤如下：

• • 加载数据到内存，并为每个设备分配不同的数据片。
• • 数据加载到GPU的内存中。
• • 每个GPU设备开始独立的进行前向计算，获得损失。
• • 反向传播计算梯度。并且需要进行梯度的 all-reduce 通信，使得每个GPU设备获得平均梯度。
• • 更新参数，所有的GPU设备上的模型副本获得一致性的参数更新。

在第四步时进行梯度的all-reduce 操作，将所有GPU设备上的梯度进行求和取平均。使用ring-all-reduce算法，通信量为两倍的参数量。

更详细的通信量计算可以参考/[2]/[3]

总结：DDP通过分布式多进程设计、去中心化梯度同步、计算与通信重叠等优化，显著解决了 DP的冗余拷贝、线程开销、主GPU瓶颈等问题，尤其适合大规模分布式训练场景。

3，DDP更进一步！FSDP

FSDP (Fully Sharded Data Parallelism) 是一种分布式训练技术，通过分片(Sharding) 模型参数、梯度和优化器状态，将大型模型的训练负载分散到多个GPU或计算节点上，从而解决传统数据并行方法（如DDP) 在训练超大模型时的内存瓶颈问题。

其核心思想源自 ZeRO (Zero Redundancy Optimizer) 优化器 （如DeepSpeed 的ZeRO-3阶段)，通过消除内存冗余实现内存高效利用。

4，总结

DP-DDP-FSDP， 是pytorch的官方实现，兼容性较好，推荐使用DDP。

参考：

[1] blog: Distributed data parallel training using Pytorch on AWS _ Telesens 
[2] https://tech.preferred.jp/en/blog/technologies-behind-distributed-deep-learning-allreduce/
[3] https://andrew.gibiansky.com/blog/machine-learning/baidu-al1reduce/
[4] https://medium.com/@davechirav/distributed-training-demystified-a-beginners-guide-to-ddp-fsdp-4c7f12973108