在logstash处理filebeat收集的日志数据以后我们可以发现logstash解析以后有一个@timestamp时间，然后而这个时间跟我们grok解析日志以后里面所包含的时间不是一致的，logstash收集日志的@...
之前有笔记记录linux内核参数的介绍和一些优化方法：https://sulao.cn/post/491，这次的笔记其实还是基于原来的笔记，针对于最大进程数和最大打开文件数的优化，这两个参数的优化在我们日常的优化中比较常...
在项目中有时不想别人看到我们写的python脚本内容，这时候我们需要将我们的python脚本进行加密，其实是不像让别人看到我写的代码太LOW了，(*^_^*)python脚本加密常用的有两种方式，一种是将文件.py文件转...
redis是我们常用的数据中间件，在目前大多项目中经常会使用到，所以使用zabbix对他进行监控还是非常又必须要的，我们这里来看看具体操作过程，以下操作过程目录约束为/usr/local/redis，admin123为我...
目前在我的工作中删除topic这种操作基本很少去做，但是之前也做过几次，都是很粗暴的去目录下删除文件，移除目录等方法这次学习的笔记中我们学习记录如何彻底删除kafka的topic，按照一个正常的流程去操作，删除kafka...
Kafka 是一种分布式的、分区的、多副本的基于发布／订阅的消息系统。它是通过 zookeeper 进行协调，常见可以用于 web/nginx 日志、访问日志、消息服务等。主要应用场景为：日志收集系统和消息系统。Kafk...
我们通过之前得学习，得知kafka一些特性和python操作kafka得方法，但是我们还没有学习过查看kafka数据方法，然后在这一篇笔记中我们来学习下使用命令来查看kafka数据我们首先查看kafka主题分布情况/us...
考虑到发布和订阅消息的实时性问题，有时需要消费者重新消费之前的历史日志消息，所以后面肯定需要使用kafka替换掉原来使用的redis，所以这里暂时先mark下logstash清洗过滤日志以后发布到kafka主题中的方式将...
自己在测试环境中尝试编写一些简单的日志规则，于是拿mongodb的日志进行测试，整体的ELK环境这里不再讲了，主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://a...
之前配置的ELK中，kibana直接访问5601端口即可登陆，但是我们的日志管理系统是暴露在公网上的，这样是非常不安全的，所以我们要给kibana的登陆增加认证功能，需要口令来登陆ELK中X-Pack安全性使你能够轻松地...
因为kafka Manager支持对Kafka的主题的增删改查操作，和消费者对数据的消费情况。而kafka Monitor对kafka新版(1.0版后),支持不太好，比如在Kafka1.1版中，用代码创建的Topic，地...
redis启动警告问题：WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn i...
之前有部署过kafka，但是用的比较少，以后可能用的比较多了，所以编写整理了下kafka和zookeeper的开机启动服务的编写之前部署的笔记可以查看这里：https://sulao.cn/post/486我部署的目录是...
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种持久化方案各有优劣，在实际应用中，还是根据我们的场景来选择持久化的方式RDB方式的持久化几乎不损耗Redis本身的性能，在进行RDB持久化...
Haproxy是一个使用C语言编写的自由及开放代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理，可以运行于大部分主流的Linux操作系统上。本次实验用到三台服务器，一台服务器安装haproxy实...
我们之前写过一篇logstash收集数据输出到redis的笔记：https://sulao.cn/post/736，可能我们有一点顾虑，redis单个key的最大value大小为512M，在生产环境中收集集群机器的日志数...
使用zabbix监控大量主机的时候，我们一个个配置过去有点不现实，所以我们需要使用到zabbix的自动发现功能来批量添加监控主机我们先来看看zabbix的自动发现的配置配置->自动发现，然后创建发现规则，基本配置如下然后...
简单网络管理协议（SNMP，Simple Network Management Protocol）构成了互联网工程工作小组（IETF，Internet Engineering Task Force）定义的Internet...
filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。类型转换类型转换是 filters/mutate 插件最初诞生时的唯一功能...