NCCL（NVIDIACollectiveCommunicationsLibrary）是由NVIDIA开发的一种高性能的多GPU通信库，用于在多个NVIDIAGPU之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。NCCL实现了针对NVIDIAGPU和网络进行优化的多GPU和多节点通信基元。NCCL提供了诸如全收集（all-gather）、全归约（all-reduce）、广播（broadcast）、归约（reduce）、归约散射（reduce-scatter）以及点对点发送和接收...

阅读全文

我们的环境是centos7，可以去官网下载指定版本的cuda库：https://developer.nvidia.com/cuda-toolkit-archive，我们这里以12.0的cuda库为例。wget https://developer.download.nvidia.com/compute/cuda/11.0.1/local_installers/cuda_11.0.1_450.36.06_linux.runsudo sh cuda_11.0.1_450.36.06_linux.run安装的时候我们就不再勾选D...

阅读全文