MIG通过虚拟地将单个物理GPU划分为更小的独立实例，这项技术涉及GPU虚拟化，GPU的资源，包括CUDA内核和内存，被分配到不同的实例。这些实例彼此隔离，确保在一个实例上运行的任务不会干扰其他实例。使用MIG，每个实例的处理器都有独立和隔离的路径通过整个存储系统，芯片上的crossbar端口，L2cache，内存控制器和DRAM地址总线都被唯一地分配给一个单独的实例。这确保了单个用户的工作负载可以在相同的L2缓存分配和DRAM带宽下，以可预测的吞吐量和延迟运行，即使其它任务正在抖动它们自己的缓存或饱和它们的DRAM接口。MIG能够对可用的GPU计算资...

阅读全文

在vGPU模式下，GPU上的内存是静态分区的，但计算能力在共享GPU的VM之间分时共享。在这种模式下，当虚拟机在GPU上运行时，它“拥有”GPU的所有计算能力，但只能访问其共享的GPU内存。在MIG模式下，内存和计算能力是静态划分的。当VM在MIG模式下使用GPU时，它只能访问分配给它的内存，并且只能使用分配给它的计算核心。因此，即使GPU中剩余的计算核心（即未分配给该VM的核心）处于空闲状态，VM也无法使用这些空闲核心。无论VM使用哪种模式来执行其工作负载，计算结果都是相同的。唯一的区别在于使用挂...

阅读全文