pytorch中数据并行DP和DDP的区别
在pytorch中数据并行训练涉及到nn.DataParallel和nn.parallel.DistributedDataParallel两个模块，也就是DP和DDP数据并行的含义每个GPU复制一份模型，将一批样本分为多份输入各个模型并行计算当一张GPU可以存储一个模型时，可以采用数据并行得到更准确的梯度或者加速训练，因为求导以及加和都是线性的，数据并行在数学上也有效1.DPDP使用数据并行的方式只需要将原来单卡的module用DP改成多卡model = nn.DataParallel(model)DP基于单机多卡，所有设备...