NCCL Tests是一个开源的测试套件，由NVIDIA开发并维护，目的是为了帮助开发者更好地理解和利用NCCL的功能。它提供了多种并发和消息传递模式的基准测试，以评估多GPU间的通信效率，并且支持各...

NVIDIA® CUDA®工具包为创建高性能 GPU 加速应用提供了发展环境。使用 CUDA 工具包，您可以在 GPU 加速嵌入式系统、桌面工作站、企业数据中心、基于云的平台和 HPC 超级计算机上开...

NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数...

Horovod 是一套支持TensorFlow, Keras, PyTorch, and Apache MXNet 的分布式训练框架，由 Uber 构建并开源的第三方库，在分布式训练中性能优于原生像T...