当使用python读取大文件时，我们需要注意避免一次读取文件内容导致内存溢出的问题，所以我们今天就来记录下如何更安全和高效的读取大文件的方法，此前我们学习过python读取文件的方法，可以查看这个笔记：https://s...
AI训练程序也是是导致GPU异常的最常见原因之一。训练深度神经网络对GPU施加的压力是巨大且持续的，远超大多数图形渲染或通用计算任务。1.显存耗尽 (Out of Memory - OOM)这是最常见的的原因。当训练程序...
Flannel在每台主机上运行一个名为flanneld的小型二进制代理，负责从一个更大的、预先配置的地址空间中为每台主机分配子网租赁。Flannel使用Kubernetes API或etcd直接存储网络配置、分配的子网和...
Xid 消息是来自 NVIDIA 驱动程序的错误报告，会打印到操作系统的内核日志或事件日志中。Xid 消息表明发生了普遍的 GPU 错误，通常是因为驱动程序错误地对 GPU 进行了编程，或者是因为发送给 GPU 的指令出...
在Linux系统上使用GPU时，可能会因为GPU的GSP（GPU System Processor）组件运行状态异常，导致GPU卡在初始化时提示失败（例如出现XID 119或XID 120错误信息），本文为您介绍这种情况...
Chrony 在动态环境（如虚拟机、移动网络）中相对于此前我们学习过的ntp时间同步表现更优，尤其适合时间偏差大或网络不稳定的场景，并且ntp默认拒绝客户端与服务器时间差 >1000 秒（约 16.7 分钟）的同步请求，...
今天要配置时间同步服务，发现自己博客还没记录ubuntu22.04上配置的笔记，所以记录下，方便自己后续使用，我们配置一台作为服务端，一台作为client端，server端使用本地时钟源。ntp这个比较老了，推荐ubun...
此前我们在centos7实践过从cgroup v1切换到cgroup v2，那么这次我们的需求是cgroup v2切换到v1，cgroup的介绍可以查看之前的笔记：https://sulao.cn/post/973我们当...
由于我的harbor仓库和k8s所在的服务器经常要关机，今天开机以后k8s启动，k8s上的harbor仓库的harbor-harbor-database-0 POD直接error了，查看日志打印了以下信息：Default...
Cmder是一款为 Windows 用户量身打造的增强型终端模拟器，旨在解决传统 Windows 命令行工具（如 CMD 和 PowerShell）界面简陋、功能受限、用户体验不足等问题。它基于强大的 ConEmu 框架...
使用mdadm工具创建软raid阵列，我们之前学习实践过，可以查看之前的笔记：https://sulao.cn/post/1085，今天我们记录学习下如果软raid阵列中有损坏的盘，我们如何进行替换故障盘。1.创建软ra...
这里记录下nccl-tests测试的记录，方便后续测试进行参考，测试的环境是单机多卡，因为多机测试的话就会依赖RDMA网络，所以记录单机，分为sxm和pcie架构进行记录。测试方法直接参考我之前的笔记：https://s...
由于经常涉及到GPU测试，所以这里记录下各个型号GPU性能的基准，主要包含4090/4090D，5090/5090D，A100/A800，H100/H800等卡型号的各个精度性能测试基准，后续如有其他高端卡测试，也将持续...
我们需求是需要在k8s上部署harbor仓库，因为环境基本用于测试，所以就不太想制作证书之类的，就打算基于http方式，最终暴露端口的方式是使用nodeport方式，另外存储没有网络存储，使用local pv的方式绑定到...
linux下生成密钥使用ssh-keygen命令，生成的方法可以查看我之前的笔记：https://sulao.cn/post/283当遇到系统变化，需要重新生成密钥的情况，客户不愿意更换密码，不能直接拿以前的私钥替换原来...
Prometheus 是一个开源的系统监控和警报工具包，最初由 SoundCloud 开发。自 2012 年诞生以来，许多公司和组织都采用了 Prometheus，该项目拥有非常活跃的开发者和用户社区。如今，它已成为一个...
在k8s集群中我们会遇到加入进来的很多节点网络接口名字和原来已有网络接口名字不一样的情况，这种情况如果IP不是第一个识别的网络接口那就会使用错误的IP进行通信，导致pod间通信异常，那么解决这种方法的话我们需要修改cal...
此前安装nccl都是通过在线安装，今天来记录下如何编译安装，相对于在线安装本地编译安装对于没有root权限，且没有联网环境的状态下使用。下面我们就来编译下nccl，编译过程比较简单。git clone https://g...