NVIDIA Nsight™ Systems 是一款系统级性能分析工具，旨在实现应用算法的可视化，找出程序中最值得优化的"瓶颈"，并进行调整以跨任意数量或大小的 CPU 和 GPU (从大型服务器到最小的系统级芯片 (S...

gpu在电源功率不足，温度过高或者在长期高负载或者是驱动程序影响的情况下会降频，那么我们可以通过锁频来固定gpu的频率，当然这种方式也不能解决高温和电源功率不足的问题，我们这里只是了解下如何锁频，操作比较简单。我们首先通...

CUDA驱动程序提供向后兼容的API。因此，新的NVIDIA驱动程序将始终与旧的CUDA工具包一起工作。这里记录了CUDA的这种行为。然而，每个CUDA工具包都需要最低版本的NVIDIA驱动程序。因此，当使用诸如NVID...

计算能力（CC）定义了每个NVIDIA GPU架构的硬件特性和支持的指令。在下表中查找您的GPU的计算能力。对于传统GPU，请参考传统CUDA GPU计算能力。Compute CapabilityData CenterG...

gpu-burn是一款GPU压力测试工具，今天就来介绍下如何安装和使用gpu-burn。首先我们我先去拉取源码包，地址是：https://github.com/wilicc/gpu-burn，目前也支持部分操作系统的二进...

我们通常看到发布的开源模型都会有写10b,17b,100b等等这些数字，这些都是指的模型参数规模，现在大模型参数从原来的亿级暴增至几百亿，这些由于现在gpu性能的大幅提升以及应用对模型的性能需求，导致了参数规模爆发式增长...

多实例GPU（MIG）功能允许将GPU安全地划分为多个独立的GPU实例，供CUDA应用程序使用。英伟达高端GPU卡都可以开启MIG，一般MIG实例最多可分配7个。MIG主要针对于那些未充分利用GPU资源的用户提供的GPU...

日常在一些程序中进行GPU调用，这些cuda程序异常崩溃的时候，有时会遇到掉卡掉驱动、没有进程但是显存被占用的情况，这个时候我们可以通过以下命令来尝试进行处理。如果是掉卡的话可以使用lspci查看下主板上还能否检测到GP...

MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例...

目前市面上有很多GPU共享技术，在GPU共享的模式下，在用户态共享和内核态进行共享是不一样的，根据以下视图，越往底层，共享对用户的影响越小，安全性也能对应提升。下面我就来简单介绍下目前GPU共享的一些技术1.CUDA劫持...