容器内执行nvidia-smi报错提示Failed to initialize NVML
使用GPU的容器运行了一个训练任务，一段时间以后查看训练任务失败，进POD容器内执行nvidia-smi返回"FailedtoinitializeNVML:UnknownError"。目前该问题是一个已知问题，是由于在docker环境中daemon.json文件中配置了"exec-opts": ["native.cgroupdriver=systemd"]同时通过systemctldaemon-reload等命令守护进程重载命令，导致容器化的GPU工作负载可能会突然失去对G...