在Linux系统上使用GPU时，可能会因为GPU的GSP（GPU System Processor）组件运行状态异常，导致GPU卡在初始化时提示失败（例如出现XID 119或XID 120错误信息），本文为您介绍这种情况的解决方案。
使用GPU时出现GPU掉卡现象，例如在Linux系统上使用GPU时，出现GPU卡初始化失败的错误提示。执行 sh nvidia-bug-report.sh nvidia-bug-report.sh 命令后，在生成的日志中，可以看到XID 119或XID 120错误信息。以XID 119报错页面为例，显示如下：
引起上述问题的原因可能是GPU的GSP（GPU System Processor）组件运行状态异常，升级NVIDIA最新版本驱动后，如果GPU掉卡问题仍然会复现，则建议您关闭GSP功能。
执行以下命令，关闭GPU的GSP组件
echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf然后重启服务器，使用以下命令进行检查
cat /proc/driver/nvidia/params | grep EnableGpuFirmware:
EnableGpuFirmware: 0如果返回结果不是EnableGpuFirmware: 0，则表示GSP组件没有关闭，请继续执行下一步确认NVIDIA GPU是否正常。
内容版权声明：除非注明，否则皆为本站原创文章。
转载注明出处：https://sulao.cn/post/1116
相关阅读
- AI应用程序导致GPU异常的常见原因
- 英伟达GPU XID Errors介绍和错误码整理
- 各型号GPU使用nccl-tests单机多卡性能测试基准参考
- 各型号GPU使用cublasMatmulBench性能测试基准参考
- ubuntu22.04安装nvidia-fabricmanager
- linux下开启GPU Direct RDMA(GDR)的方法
- ubuntu使用nvbandwidth测试单节点gpu带宽性能
- nvidia-peermem和dmabuf两种GDR方式的区别
- ubuntu22.04使用nccl-tests进行单机多卡通信测试
- linux下使用cublasMatmulBench对GPU进行测试
评论列表