NCCLTests是一个开源的测试套件，由NVIDIA开发并维护，目的是为了帮助开发者更好地理解和利用NCCL的功能。它提供了多种并发和消息传递模式的基准测试，以评估多GPU间的通信效率，并且支持各种CUDA和MPI环境。我们在多机多卡进行测试的时候确保环境中高性能网络已经部署并配置好，注意，如果没有IB之类的高性能网络支持，多机多卡通信效率肯定会很低，延迟大。NCCL可以加速GPU通信，降低通信开销，它允许两个特定的GPU之间直接交换数据，同时NCCL还支持集体通信，这些操作涉及多个GPU之间的数据交换。集合通讯模式1.P2P(Point-to-po...

阅读全文

Horovod是一套支持TensorFlow,Keras,PyTorch,andApacheMXNet的分布式训练框架，由Uber构建并开源的第三方库，在分布式训练中性能优于原生像Tensorflow这种ps，worker架构，且代码改动量少，无需在多个节点多次执行脚本命令，使用起来方便。首先我们需要安装nccl可以去官网查找对应版本，https://developer.nvidia.com/nccl/nccl-legacy-downloads我下的ubuntu20.04这个版本，直接安装dpkg -i nccl-l...

阅读全文