日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GPU卡lspci | grep -i nvidia00:03.0 VGA compatible controller: NVIDIA Corporation Device 1f03 (rev a1)00:...

阅读全文

目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持：rCUDA，vCUDA等CUDA劫持是较多方案选择的共享方法，属于时间复用。它通过劫持对CudadriverAPI的调用来做到资源隔离。共享模块一般位于在CudadriverAPI之上。优势：API开源，是非Nvidia官方技术人员能够较容易实现的共享技术。劣势：1.CUDA库升级活跃，而当CUDA库升级时，劫持方案也需要不断适...

阅读全文

在vGPU模式下，GPU上的内存是静态分区的，但计算能力在共享GPU的VM之间分时共享。在这种模式下，当虚拟机在GPU上运行时，它“拥有”GPU的所有计算能力，但只能访问其共享的GPU内存。在MIG模式下，内存和计算能力是静态划分的。当VM在MIG模式下使用GPU时，它只能访问分配给它的内存，并且只能使用分配给它的计算核心。因此，即使GPU中剩余的计算核心（即未分配给该VM的核心）处于空闲状态，VM也无法使用这些空闲核心。无论VM使用哪种模式来执行其工作负载，计算结果都是相同的。唯一的区别在于使用挂...

阅读全文

我们对centos7内核进行了升级，具体笔记可以查看笔记：https://sulao.cn/post/949.html，然后GPU驱动需要重新安装，安装的时候有以下报错An error occurred while performing the step: "Building kernel modules"我们安装驱动常见问题主要就是内核头文件，所以首先对这个进行了检查，由于之前升级内核，头文件还是3.10的，所以我们需要进行卸载，然后安装对应的...

阅读全文

在ubuntu上安装显卡驱动有几种方式，可以使用图形界面的方式安装，也可以使用命令行来安装，我们这里主要来讲使用命令行的方式安装，安装的方式也有两种，分为在线安装和离线安装。安装的时候推荐关掉图形化界面，进入终端模式进行安装sudo telinit 3 # 使用sudo telinit 5命令可以重新进入图形化界面1.使用命令行在线安装的方式如下更新所有的软件包和加入官方的ppa源sudo add-apt-repository ppa:graphics-drivers/ppa...

阅读全文

我们在安装linux图像化界面时，开机启动以后Xorg运行起来后自动占用英伟达显卡，在某些使用GPU的情况下会让程序运行失败所以我们需要关闭Xorg对GPU的占用，具体操作如下我们首选需要关闭图形化界面，使用如下命令init 3然后生成Xorg置文件Xorg -configure然后修改/usr/share/X11/xorg.conf.d/nvidia-drm-outputclass.conf文件该文件会让Xserver自动加载nvidia驱动，所以我们我们需要删除或者改名该文件即可cd /usr/share/X11/xo...

阅读全文

GPU开启了持久模式以后，即使没有活动的客户端，NVIDIA驱动程序也会保持加载状态，这样可以很大程度减少与运行依赖程序的加载时间，适用于所有的CUDA产品。Persistence-M(PersistenceMode)persistencemode持续模式默认关闭。persistencemode能够让GPU更快响应任务，待机功耗增加。关闭persistencemode同样能够启动任务。具体命令如下nvidia-smi -pm 1Persistence-M从Off变成On，持续模式打开...

阅读全文

在使用单机多卡的时候我们会经常遇到一些GPU的操作，例如查询当前有几块GPU卡，GPU卡名字，如何在torch中使用多卡等问题，下面我们先进行一些基础的学习，这里不再赘述如何安装torch，可以看我之前的笔记。一些常用的方法判断cuda是否可用torch.cuda.is_available()获取GPU卡的数量torch.cuda.device_count()获取当前设备的索引torch.cuda.current_device()获取GPU卡的名字torch.cuda.get_device_name(0)下面我们来上一些简单的代码查看下import&nb...

阅读全文

整个部署过程花了四五天终于部署好了，操作过程记录下，其实只差一步一直没找到相关资料，所以搞了这么多天，再做一遍估计也就2-3小时就能弄好建议安装kvm宿主机使用ubuntu20.04，省去了配置vifo的麻烦，20.04已经将这个加载到内核，无需做额外配置我的虚拟机都是安装centos71.首先是设置bios以下两个就需要启用，其中第一个Above4Gdecoding这个是我的最终问题，最后找到了启用了直通就成功了，后面就是虚拟化VT开启Above 4G decoding - EnableIntel&nbs...

阅读全文

之前安装了一个较老版本的显卡驱动，然后执行nvidia-smi命令发现不能识别显卡名字，然后进行卸载./NVIDIA-Linux-x86_64-xxx.run --uninstall用上述命令一般都能卸载完，但是再安装的是否提示An NVIDIA kernel module ‘nvidia-drm‘ appears to already be loaded in your kernel...需要执行以下命令进行清理再进行安装，...

阅读全文