我目前测试多机多卡的nccl-tests测试都是使用的同一个编译脚本，编译的参数都是一致，所以今天这个问题很奇怪，我在使用openmpi+nccl-tests多机多卡测试有以下输出，然后程序就结束了。A compress...
今天遇到一个节点卡住的问题，登录就一直卡着，直到好半天登录上去，查看dmesg日志，发现打印了以下错误信息从上述日志分析到时状态切换超时的问题，然后检查GPU状态，发现GPU未开启持久模式这种情况下可能是由于GPU在无任...
今天在告警信息中查看到了hardware slow_down DA:00.0，第一反应是硬件降速了，对于目前集群情况来说第一时间想到的就是GPU降速我们可以根据提供的bus_id进行检查看看是什么设备lspci | gr...
我们此前使用k8s的国外软件仓库安装k8s，但有时会遇到国际线路不稳定，无法正常安装的情况，那么今天我们就来看看如何切换到使用国内镜像仓库来安装k8s，记录下以免后面又需要到处找。原来添加k8s官方的软件仓库的方式如下，...
实际之前我们记录过好几次证书更新的操作，但是往回翻看就觉得有点乱，今天就再次更新一下证书的更新步骤，同时为了后面规范写作，所以写一下影响范围，这样就能够清晰的翻看更新证书的注意事项。默认k8s的证书是1年的有效期，根证书...
这边此前用四块SSD盘做了raid10，后面想改成raid5，然后通过以下操作，RAID5阵列已经创建成功，正在重建中，显示"spare rebuilding"，但是这个重建时间有点久，所以我们通过查找资料获取了一些方式...