在k8s的项目中今天需要停止某一节点的服务，对该节点进行更新、升级、或者是更换硬件时，这个时候需要对节点进行设置，让其不参与k8s的调度，具体的设置方法如下使用cordon设置节点不可调度kubectl cordon n...

Horovod 是一套支持TensorFlow, Keras, PyTorch, and Apache MXNet 的分布式训练框架，由 Uber 构建并开源的第三方库，在分布式训练中性能优于原生像Tensorflow这...

iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出 CPU使用情况iostat的语法如下iostat [ 选...

linux中/dev目录下一般都是一些设备文件，例如磁盘、内存、摄像头等，其中/dev/shm这个目录是linux下一个利用内存虚拟出来的一个目录，这个目录中的文件都是保存在内存中，而不是磁盘上。其大小是非固定的，即不是...

最近遇到了在使用opencv读取图片的时候报错报错libpng error: Read Error然后我将图片下载下来，直接双击打开发现该图片已经损坏，那么我尝试在我的代码中添加try...except进行异常的捕获，发...

查看k8s上有一些POD日志中提示Error: failed to create FS watcher: no space left on device看到这个错误提示第一时间想到的是是不是磁盘用满了，然后我开始检查机器...

下载linux系统基本都是用systemd启动系统并管理进程journalctl可以查看所有的系统日志文件，由于日志信息量很大，journalctl还提供了各种参数帮助用户更快速的定位到日志信息默认情况下，用户都可以访问...

标题可能描述的不太清理，就是例如我在before_request中检测用户登录状态，当用户没有登录就转向/login登录页面，但是这里就有一个问题，当/login登录跳转的页面也会触发before_request，这个时...

最近经常遇到pip安装包非常慢的情况，之前加-i参数来临时更换下载源，pip之前的笔记可以查看这里https://sulao.cn/post/581，但是这次情况是下载torch，更换了pip源以后提示什么证书验证的警告...

在python的类中定义了特殊方法__setitem__，这个方法与之对应是之前咱们学习的__getitem__方法，具体的可以查看这里的笔记https://sulao.cn/post/859，一个是用key的方式获取，...

在pytorch中数据并行训练涉及到nn.DataParallel和nn.parallel.DistributedDataParallel两个模块，也就是DP和DDP数据并行的含义每个 GPU 复制一份模型，将一批样本分...

谷歌推荐的保存模型的方式是保存模型为 PB 文件，它具有语言独立性，可独立运行，封闭的序列化格式，任何语言都可以解析它，它允许其他语言和深度学习框架读取、继续训练和迁移 TensorFlow 的模型它的主要使用场景是实现...

神经网络的训练梯度下降法学习率： 步长更大= 学习率更高误差函数不断减小。如果训练数据过多， 无法一次性将所有数据送入计算。现将数据分成几个部分： batch分多个 batch , 逐一送入计算训练Epoch一个epoc...

在python的类中定义了特殊方法__getitem__，那么这个类在创建实例时，可以通过下标来取值当从对象的下标取值时，会调用类中的方法__getitem__下面我们来上一个例子class TestFunc:     ...

首先我们登录mongodb./mongo然后选择adimn库use admin; db.createUser({   user: 'admin',   pwd: 'admin123',   roles:[{     ro...

Flask官网的sqlite例子可以查看这里http://www.pythondoc.com/flask/patterns/sqlite3.html，我这里根据我项目的实际情况是这样写的我的入口文件manager.pyf...

在使用单机多卡的时候我们会经常遇到一些GPU的操作，例如查询当前有几块GPU卡，GPU卡名字，如何在torch中使用多卡等问题，下面我们先进行一些基础的学习，这里不再赘述如何安装torch，可以看我之前的笔记。一些常用的...

最近经常看人家的代码，看到easydict这个模块，然后百度了下，发现这个模块就是将字典转成对象，然后调用的时候可以直接使用链式的方式使用，感觉谈不上方便，我自己写python可能基本用不上这个模块，然而，我们还是来看看...

我们经常看到linux各种程序中的执行进度条，非常直观，python中也有类似模块tqdmtqdm就能非常完美的支持和解决这些问题，可以实时输出处理进度而且占用的CPU资源非常少，支持windows、Linux、mac等...

今天有遇到libGL.so无法找到这个共享库的问题，具体报错如下from .cv2 import * ImportError: libGL.so.1: cannot open shared object file: No...