nvlink的GPU卡都需要安装fabricmanager，此前在centos的机器部署过fabricmanager，现在需要在ubuntu2204上进行部署，之前的笔记可以直接查看这里：https://sulao.cn...

NVIDIA HPC SDK是一套综合的编译器、库和工具，用于GPU加速HPC建模和仿真应用。随着对运行Linux的NVIDIA gpu和x86-64、OpenPOWER或Arm cpu的支持，NVIDIA HPC SD...

NVIDIA HPC-X 是一个综合软件包，包括消息传递接口 （MPI）、对称分层内存 （SHMEM） 和分区全局地址空间 （PGAS） 通信库以及各种加速包。这个功能齐全、经过测试和打包的工具包使 MPI 和 SHME...

NCCL 的源码中，具有两种方式的 GDR，nvidia-peermem和dmabuf，在注册收发缓冲区时会优先选择后面一种方式。源码注释中的nv_peermem和nvidia-peermem是同一个东西，在不同版本的叫...

多实例GPU（MIG）功能允许将GPU安全地划分为多个独立的GPU实例，供CUDA应用程序使用。英伟达高端GPU卡都可以开启MIG，一般MIG实例最多可分配7个。MIG主要针对于那些未充分利用GPU资源的用户提供的GPU...

之前也有在centos7和ubuntu20.04安装过nvidia-container-runtime，这次是在ubuntu22.04上进行安装，nvidia-container-runtime的作用就是在docker环...

日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...

MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...

我们在k8s使用英伟达GPU时想让POD自动挂载我们需要部署nvidia-device-plugin组件，如何部署使用可以查看我之前的笔记：https://sulao.cn/post/975英伟达的device plug...

目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持...