k8s已经支持GPU设备的调度和POD容器挂载，需要做以下配置1.首先我们需要再宿主机安装驱动2.需要安装nvidia-container-runtime3.GPU节点打标签并部署k8s-device-plugin上面1...

使用GPU的容器运行了一个训练任务，一段时间以后查看训练任务失败，进POD容器内执行nvidia-smi返回"Failed to initialize NVML: Unknown Error"。目前该问题是一个已知问题，...

由于containerd下配置nvidia-container-runtime比较繁琐，所以写了脚本去自动修改使用python修改config.toml文件首先需要安装toml模块pip3 install toml然后就...

我们对centos7内核进行了升级，具体笔记可以查看笔记：https://sulao.cn/post/946，然后GPU驱动需要重新安装，安装的时候有以下报错An error occurred while perform...

之前我们在centos/ubuntu上安装过nvidia-container-runtime，配置也都是在docker中配置的，那么我们最近本地环境整体从docker换成了containerd，那么今天就来记录下在con...

之前ubuntu安装的可以查看之前笔记：https://sulao.cn/post/916centos上安装也很简单，首先设置存储库和 GPG 密钥distribution=$(. /etc/os-release;ech...

首先安装一些必要的依赖包yum install -y pciutils gcc gcc-c++ gcc-gfortran使用lspci命令检查是否有nvidia硬件lspci | grep -i nvidia关闭nouv...

在ubuntu上安装显卡驱动有几种方式，可以使用图形界面的方式安装，也可以使用命令行来安装，我们这里主要来讲使用命令行的方式安装，安装的方式也有两种，分为在线安装和离线安装。安装的时候推荐关掉图形化界面，进入终端模式进行...

借助 NVIDIA Container Runtime，开发人员只需在创建容器期间注册一个新的运行时，即可将 NVIDIA GPU 暴露给容器中的应用程序。目前官网上NVIDIA Container Runtime介绍如...

NVIDIA NVLink A100 GPU卡，需额外安装与驱动版本对应的 nvidia-fabricmanager 服务使 GPU 卡间能够互联通过NVSwitch互联，如果仅安装NVIDIA GPU 驱动程序，会导致...