在Linux系统上使用GPU时,可能会因为GPU的GSP(GPU System Processor)组件运行状态异常,导致GPU卡在初始化时提示失败(例如出现XID 119或XID 120错误信息),本文为您介绍这种情况的解决方案。
使用GPU时出现GPU掉卡现象,例如在Linux系统上使用GPU时,出现GPU卡初始化失败的错误提示。执行 sh nvidia-bug-report.sh nvidia-bug-report.sh 命令后,在生成的日志中,可以看到XID 119或XID 120错误信息。以XID 119报错页面为例,显示如下:
引起上述问题的原因可能是GPU的GSP(GPU System Processor)组件运行状态异常,升级NVIDIA最新版本驱动后,如果GPU掉卡问题仍然会复现,则建议您关闭GSP功能。
执行以下命令,关闭GPU的GSP组件
echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf
然后重启服务器,使用以下命令进行检查
cat /proc/driver/nvidia/params | grep EnableGpuFirmware:
EnableGpuFirmware: 0
如果返回结果不是EnableGpuFirmware: 0,则表示GSP组件没有关闭,请继续执行下一步确认NVIDIA GPU是否正常。
内容版权声明:除非注明,否则皆为本站原创文章。
转载注明出处:https://sulao.cn/post/1116
相关阅读
- 各型号GPU使用nccl-tests单机多卡性能测试基准参考
- 各型号GPU使用gpu-burn和cublasMatmulBench性能测试基准参考
- ubuntu22.04安装nvidia-fabricmanager
- linux下开启GPU Direct RDMA(GDR)的方法
- ubuntu使用nvbandwidth测试单节点gpu带宽性能
- linux下使用cublasMatmulBench对GPU进行测试
- GPU性能分析工具nsys(Nsight Systems)安装和简单使用
- GPU锁频的方法以及pytorch验证测试代码
- GPU计算能力、驱动、CUDA、架构兼容支持矩阵
- GPU计算能力(Compute Capability)对照表
评论列表