多实例GPU（MIG）功能允许将GPU安全地划分为多个独立的GPU实例，供CUDA应用程序使用。英伟达高端GPU卡都可以开启MIG，一般MIG实例最多可分配7个。MIG主要针对于那些未充分利用GPU资...
之前也有在centos7和ubuntu20.04安装过nvidia-container-runtime，这次是在ubuntu22.04上进行安装，nvidia-container-runtime的作用...
日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主...
MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。...
我们在k8s使用英伟达GPU时想让POD自动挂载我们需要部署nvidia-device-plugin组件，如何部署使用可以查看我之前的笔记：https://sulao.cn/post/975英伟达的d...
目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些...
k8s已经支持GPU设备的调度和POD容器挂载，需要做以下配置1.首先我们需要再宿主机安装驱动2.需要安装nvidia-container-runtime3.GPU节点打标签并部署k8s-device...
使用GPU的容器运行了一个训练任务，一段时间以后查看训练任务失败，进POD容器内执行nvidia-smi返回"Failed to initialize NVML: Unknown Error"。目前该...
由于containerd下配置nvidia-container-runtime比较繁琐，所以写了脚本去自动修改使用python修改config.toml文件首先需要安装toml模块pip3 insta...
之前我们在centos/ubuntu上安装过nvidia-container-runtime，配置也都是在docker中配置的，那么我们最近本地环境整体从docker换成了containerd，那么今...
之前ubuntu安装的可以查看之前笔记：https://sulao.cn/post/916centos上安装也很简单，首先设置存储库和 GPG 密钥distribution=$(. /etc/os-r...
首先安装一些必要的依赖包yum install -y pciutils gcc gcc-c++ gcc-gfortran使用lspci命令检查是否有nvidia硬件lspci | grep -i nv...
在ubuntu上安装显卡驱动有几种方式，可以使用图形界面的方式安装，也可以使用命令行来安装，我们这里主要来讲使用命令行的方式安装，安装的方式也有两种，分为在线安装和离线安装。安装的时候推荐关掉图形化界...
GPU开启了持久模式以后，即使没有活动的客户端，NVIDIA驱动程序也会保持加载状态，这样可以很大程度减少与运行依赖程序的加载时间，适用于所有的CUDA产品。Persistence-M (Persis...
之前安装了一个较老版本的显卡驱动，然后执行nvidia-smi命令发现不能识别显卡名字，然后进行卸载./NVIDIA-Linux-x86_64-xxx.run --uninstall用上述命令一般都能...