存储引擎（StorageEngine）是MongoDB的核心组件，负责管理数据如何存储在硬盘（Disk）和内存（Memory）上。从MongoDB3.2版本开始，MongoDB支持多数据存储引擎（StorageEngine），MongoDB支持的存储引擎有：WiredTiger，MMAPv1和In-Memory。从MongoDB3.2版本开始，WiredTiger成为MongDB默认的StorageEngine，用于将数据持久化存储到硬盘文件中，WiredTiger提供文档级别（Document-Level）的并发控制，检查点（Check...
今天在写远程下载循环遍历远程目录和下载的时候碰到了报错 [Errno 32] Broken pipeErrno32]Brokenpipe异常属于IOError，因此此问题和IO操作有关，然后检查相关的业务逻辑，除了一个巨长的远程遍历目录，其他的基本应该没有什么大的问题，初步觉得是这个问题导致，后面将代理做了下微调，解决。因为每天都要下载当前的文件，文件有历史存档，每次循环整个目录的文件列表是非常消耗资源的，但是想到文件名是有规律的，所以就判断下是不是当前文件，文件名基本是这样的20190415xxx.log所...
使用python循环下载FTP文件列表报错，错误提示是这样的AttributeError: 'NoneType' object has no attribute 'sendall'我的代码是这样#!/usr/bin/python3#coding:utf-8from ftp_server import FtpServerfrom log import info_output,error_outp...
nginx代理访问内网服务器，就是通过访问公网上的服务，将内网的图片在公网的网站上显示，图片服务器是没有公网地址的，流量出口走的还是nginx的服务器的流量，有一些架构是这么搞的，内网服务器作为一个对外的图床，但是有时需要提供对外的服务，这是一个临时的解决方案，让我们来看看具体配置吧。这里不在赘述如何编译安装nginx，直接开始吧location ~ /.*\.(jpg|gif|png|jpeg|webp)${ proxy_pass http://192.168.0.10;...
最近没事测试谢了个拉取FTP文件的脚本，其中一段是要检测FTP文件的中间状态，所谓中间状态就是FTP的文件正在上传，并还没有传完的这个时段的状态，我写了一个简单脚本测试def check_filesize(filename): file_size = ftp_operation.RemoteFileSize(config['remote_dir'], filename) time.sleep(1)...
python3将网站转换为PDF需要用到pdfkit模块，这个模块需要我们进行安装pip install pdfkit然后我们百度下得到一段生成PDF的代码，我测试的是把我博客首页生成PDF#!/usr/bin/python3#coding:utf-8import requestsimport pdfkitresponse = requests.get("https://sulao.cn/")htmls = response.con...
一直都觉得FTP现在用的少了，所以就一直没有做过这类的笔记，记得只是很早之前用PHP操作FTP的记录，这次写了下顺便记录下来了，方便以后直接使用，主要代码如下：#!/usr/bin/python3#coding:utf-8from ftplib import FTPimport osimport logginglogging.basicConfig(filename='app.log',level=logging.INFO,format='%(asctime)s...
喜欢用jq写前端的python开发工程师建议使用这个html解析库，因为这个工具使用起来基本就和jquery是一样的，所以可以可以直接上手开始进行开发我也经常用jquery，所以这里直接列下基础用法，看下就明白了#!/usr/bin/python3#coding:utf-8from pyquery import PyQueryimport requestshtml = requests.get("https://sulao.cn/post/641.html"...
昨天学习了下解析html结构的新工具requests-html，今天把以前使用的相关解析html的模块工具进行梳理记录下BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据。 BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。如...
使用Python开发的同学一定听说过Requsts库，它是一个用于发送HTTP请求的测试。如比我们用Python做基于HTTP协议的接口测试，那么一定会首选Requsts，因为它即简单又强大。现在作者KennethReitz又开发了requests-html用于做爬虫。我们直接使用pip进行安装即可pip install requests_html然后直接可以开始学习了from requests_html import HTMLsessionsession = HTMLses...