在pytorch中数据并行训练涉及到nn.DataParallel和nn.parallel.DistributedDataParallel两个模块，也就是DP和DDP数据并行的含义每个GPU复制一份模型，将一批样本分为多份输入各个模型并行计算当一张GPU可以存储一个模型时，可以采用数据并行得到更准确的梯度或者加速训练，因为求导以及加和都是线性的，数据并行在数学上也有效1.DPDP使用数据并行的方式只需要将原来单卡的module用DP改成多卡model = nn.DataParallel(model)DP基于单机多卡，所有设备...
在使用单机多卡的时候我们会经常遇到一些GPU的操作，例如查询当前有几块GPU卡，GPU卡名字，如何在torch中使用多卡等问题，下面我们先进行一些基础的学习，这里不再赘述如何安装torch，可以看我之前的笔记。一些常用的方法判断cuda是否可用torch.cuda.is_available()获取GPU卡的数量torch.cuda.device_count()获取当前设备的索引torch.cuda.current_device()获取GPU卡的名字torch.cuda.get_device_name(0)下面我们来上一些简单的代码查看下import&nb...
现在工作中经常接触pytorch，tensorflow等AI框架，记录下安装注意事项GPU测试方法1.tensorflow可以在https://tensorflow.google.cn/install页面查看安装说明，注意GPU的机器需要先安装CUDA，每个版本的CUDA都有对应的tensorflow的版本pip install tensorflow==2.6.0不指定即安装最新版本，在2.0以后版本无需区分CPU版本和GPU版本如果是以前的版本需要这样安装GPU版本pip install rensorflow-g...
Horovod是Uber于2017年发布的一个易于使用的高性能的分布式深度学习训练框架，支持TensorFlow、Keras、PyTorch和ApacheMXNet。Horovod的名字来自于俄国传统民间舞蹈，舞者手牵手围成一个圈跳舞，与分布式训练使用Horovod互相通信的场景很像。Horovod的发展吸取了Facebook"TrainingImageNetIn1Hour"与百度"RingAllreduce"的优点，在保证分布式训练性能的同时，兼顾了前端的简洁和对不同深度学习框架的支持，使用...