今天在告警信息中查看到了hardware slow_down DA:00.0，第一反应是硬件降速了，对于目前集群情况来说第一时间想到的就是GPU降速我们可以根据提供的bus_id进行检查看看是什么设备lspci | gr...
我们此前使用k8s的国外软件仓库安装k8s，但有时会遇到国际线路不稳定，无法正常安装的情况，那么今天我们就来看看如何切换到使用国内镜像仓库来安装k8s，记录下以免后面又需要到处找。原来添加k8s官方的软件仓库的方式如下，...
实际之前我们记录过好几次证书更新的操作，但是往回翻看就觉得有点乱，今天就再次更新一下证书的更新步骤，同时为了后面规范写作，所以写一下影响范围，这样就能够清晰的翻看更新证书的注意事项。默认k8s的证书是1年的有效期，根证书...
这边此前用四块SSD盘做了raid10，后面想改成raid5，然后通过以下操作，RAID5阵列已经创建成功，正在重建中，显示"spare rebuilding"，但是这个重建时间有点久，所以我们通过查找资料获取了一些方式...
DCGM (Data Center GPU Manager) 是 NVIDIA 提供的一个用于数据中心 GPU 管理和监控的工具集，提供了以下功能1.GPU 行为监控 2.GPU 配置管理 3.GPU 策略监督 4.GP...
今天安装cuda12.04失败了，以前安装cuda基本都没有出现过失败的情况，那么我就拉看看今天安装失败打印的错误吧，错误信息如下[INFO]: Setting toolkit=true [INFO]: Adding d...
在做ubuntu集群初始化的时候第一步就是需要将具有sudo权限的账户ubuntu进行sudo命令的免密切换，设置sudo免密的方法有好几种，但是我们选择其中一种方法，就是在/etc/sudoers.d/目录下添加用户的...
经常要为别人部署一下小规模的测试环境的k8s集群，所以自己写了个脚本方便自己部署使用，配置基本没啥要改的，一键就能部署master，node节点也是一键，只需要手工kubeadm join一下就行。脚本放上来三个1.配置...
MetalLB 是一个用于裸机 Kubernetes 集群的负载均衡器实现，使用标准路由协议。k8s 并没有为裸机集群实现负载均衡器，因此我们只有在以下 IaaS 平台（GCP, AWS, Azure）上才能使用 Loa...
目前cuda最新的版本已经来到了13.0，今天在cuda13.0的环境下编译gpu-burn报错，查了下资料，cuCtxCreate函数升级为了最新的v4，需要传入4个参数，但是gpu-burn还没更新，所以需要修正下这...
我们目前寻找一些好用的云盘，然后无意间翻到了 Cloudreve， 然后就实际搭建了一下看看效果，虽然没有满足我的使用需求，但是还是记录一下搭建的方法吧，首先我们还是来介绍下Cloudreve，Cloudreve 是一款...
我们此前都是手工部署nvidia-container-runtime，上报gpu信息使用的k8s-device-plugin，这些都是手工部署的，其中nvidia-container-runtime的部署涉及修改cont...
如果一块磁盘做了LVM逻辑卷管理，那么我们重置这块磁盘再使用时不能直接mkfs，这样无法彻底删除LVM的底层元数据，我们需要按照以下操作顺便来删除LVM，并擦除格式化使其成为一块正常硬盘使用。1.查看lv/vg/pv我们...
发了一个算力环境基础配置的一键脚本，这里将自己写的环境验证脚本也一并发下，方便后面自己使用。#!/bin/bash #set -e function INFO(){ /bin/echo -e "\e[104m\...
自己写的算力环境基础配置一键脚本，方便自己使用，如果普通用户没有免密的话需要输入一次密码，如果是root用户就直接执行#!/bin/bash #set -e CURRENT_PATH=`readlink -f $(di...
bash字符串操作实际经常写也经常查，但是基本就是记不住，所以就自己专门开一篇笔记来记录下，方便在自己的博客上来查，例子就以英伟达驱动的名字为例。NVIDIA_DRIVER="NVIDIA-Linux-x86_64-58...
此前我们做了一个单机多卡的nccl-tests部署测试脚本，多集卡多卡的我们也需要经常测试，所以这次记录了一个自己用的多机多卡openmpi+nccl+nccl-tests编译安装脚本，注意不含测试，这个脚本最终编译完成...
单用户模式是一种特殊的启动模式，通常我们也可以称之为救援模式，通常用于系统维护和修复。在这个模式下，系统只启动一个超级用户（root），并且不启动网络服务和多用户环境。这对于忘记root密码、修复文件系统错误或进行其他系...
sshpass 是一个允许用户在非交互式 SSH 会话中自动输入密码的工具，这使得它在自动化脚本和批量处理任务中非常有用，SSH使用直接TTY访问来确保密码确实是由交互式键盘用户发出的。sshpass在专用的TTY中运行...
MTR（My Traceroute）是一个结合了 traceroute 和 ping 功能的开源网络诊断工具。它通过发送 ICMP 或 UDP 数据包，实时显示数据包经过的路由器及其响应时间，帮助用户分析网络延迟、丢包等...