计算能力（CC）定义了每个NVIDIA GPU架构的硬件特性和支持的指令。在下表中查找您的GPU的计算能力。对于传统GPU，请参考传统CUDA GPU计算能力。Compute CapabilityData CenterG...
gpu-burn是一款GPU压力测试工具，今天就来介绍下如何安装和使用gpu-burn。首先我们我先去拉取源码包，地址是：https://github.com/wilicc/gpu-burn，目前也支持部分操作系统的二进...
我们通常看到发布的开源模型都会有写10b,17b,100b等等这些数字，这些都是指的模型参数规模，现在大模型参数从原来的亿级暴增至几百亿，这些由于现在gpu性能的大幅提升以及应用对模型的性能需求，导致了参数规模爆发式增长...
在维护算力集群的时候有时候需要统计集群环境中使用GPU卡的POD列表，那么我们经常使用的话这里写了一个脚本方便查询和罗列出这些POD，脚本中主要使用subprocess模块来获取kubectl命令返回的结果，所以执行脚本...
NCCL Tests是一个开源的测试套件，由NVIDIA开发并维护，目的是为了帮助开发者更好地理解和利用NCCL的功能。它提供了多种并发和消息传递模式的基准测试，以评估多GPU间的通信效率，并且支持各种CUDA和MPI环...
日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...
MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...
我们在k8s使用英伟达GPU时想让POD自动挂载我们需要部署nvidia-device-plugin组件，如何部署使用可以查看我之前的笔记：https://sulao.cn/post/975英伟达的device plug...