目前cuda最新的版本已经来到了13.0，今天在cuda13.0的环境下编译gpu-burn报错，查了下资料，cuCtxCreate函数升级为了最新的v4，需要传入4个参数，但是gpu-burn还没更新，所以需要修正下这...
我们此前都是手工部署nvidia-container-runtime，上报gpu信息使用的k8s-device-plugin，这些都是手工部署的，其中nvidia-container-runtime的部署涉及修改cont...
发了一个算力环境基础配置的一键脚本，这里将自己写的环境验证脚本也一并发下，方便后面自己使用。#!/bin/bash #set -e function INFO(){ /bin/echo -e "\e[104m\...
自己写的算力环境基础配置一键脚本，方便自己使用，如果普通用户没有免密的话需要输入一次密码，如果是root用户就直接执行#!/bin/bash #set -e CURRENT_PATH=`readlink -f $(di...
此前我们做了一个单机多卡的nccl-tests部署测试脚本，多集卡多卡的我们也需要经常测试，所以这次记录了一个自己用的多机多卡openmpi+nccl+nccl-tests编译安装脚本，注意不含测试，这个脚本最终编译完成...
由于经常需要做测试，所以撰写了一个测试单机多卡的bash脚本，前提需要环境中已经安装nvidia驱动和cuda库，且cuda库安装在默认目录/usr/local/下，然后nccl我是下载的zip包，名字是nccl-mas...
AI训练程序也是是导致GPU异常的最常见原因之一。训练深度神经网络对GPU施加的压力是巨大且持续的，远超大多数图形渲染或通用计算任务。1.显存耗尽 (Out of Memory - OOM)这是最常见的的原因。当训练程序...
Xid 消息是来自 NVIDIA 驱动程序的错误报告，会打印到操作系统的内核日志或事件日志中。Xid 消息表明发生了普遍的 GPU 错误，通常是因为驱动程序错误地对 GPU 进行了编程，或者是因为发送给 GPU 的指令出...
在Linux系统上使用GPU时，可能会因为GPU的GSP（GPU System Processor）组件运行状态异常，导致GPU卡在初始化时提示失败（例如出现XID 119或XID 120错误信息），本文为您介绍这种情况...
此前我们发布了一个基于gpu-burn基准测试的参考笔记，这里也记录下nccl-tests测试的记录，方便后续测试进行参考，测试的环境是单机多卡，因为多机测试的话就会依赖RDMA网络，所以记录单机，分为nvlink和pc...