之前有部署过kafka，但是用的比较少，以后可能用的比较多了，所以编写整理了下kafka和zookeeper的开机启动服务的编写之前部署的笔记可以查看这里：https://sulao.cn/post/486我部署的目录是...
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种持久化方案各有优劣，在实际应用中，还是根据我们的场景来选择持久化的方式RDB方式的持久化几乎不损耗Redis本身的性能，在进行RDB持久化...
Haproxy是一个使用C语言编写的自由及开放代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理，可以运行于大部分主流的Linux操作系统上。本次实验用到三台服务器，一台服务器安装haproxy实...
我们之前写过一篇logstash收集数据输出到redis的笔记：https://sulao.cn/post/736，可能我们有一点顾虑，redis单个key的最大value大小为512M，在生产环境中收集集群机器的日志数...
使用zabbix监控大量主机的时候，我们一个个配置过去有点不现实，所以我们需要使用到zabbix的自动发现功能来批量添加监控主机我们先来看看zabbix的自动发现的配置配置->自动发现，然后创建发现规则，基本配置如下然后...
简单网络管理协议（SNMP，Simple Network Management Protocol）构成了互联网工程工作小组（IETF，Internet Engineering Task Force）定义的Internet...
filters/mutate 插件是 Logstash 另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。类型转换类型转换是 filters/mutate 插件最初诞生时的唯一功能...
logstash调用系统执行命令exec的方法比较简单，调用exec命令可以直接调用系统脚本或者命令，处理的方法可以变的更加灵活例如我们在zabbix的邮件报警笔记中使用到了python脚本进行报警，通过稍作修改，也可以...
之前的学习都是logstash收集过滤的日志再次传递到ES中进行存储使用，在实际的工作中有些日志我们是不需要存储到DB中，而是直接收集打包存储到硬盘logstash中的output/file插件可以实现这个功能，使用例子...
ELK中我们通常是使用logstash收集到日志然后直接提交到ES中进行存储，当在大量日志的场景下，当存储已经跟不上收集的速度是我们需要使用队列来进行顺序存储，redis在项目中作为存储中间件，下面我们就在之前的笔记的基...
由于官方zabbix4.4的mysql监控方法有些问题，一直没找到原因，看到zabbix论坛有和我一样问题的人，于是还是采用老的方式来监控zabbix性能以前的笔记查看这个：https://sulao.cn/post/5...
zabbix通过钉钉机器人报警大致和邮件报警类似，邮件报警可以查看我之前的笔记：https://sulao.cn/post/394我们首先要去钉钉上创建一个群组，然后在群组中点击智能群助手，添加自定义机器人添加的时候主要...
Logstash是Elastic stack 中的一个开源组件，其不仅能够对日志进行抓取收集，还能对抓取的日志进行过滤输出。Logstash的过滤插件有多种，如：grok、date、json、geoip等等。其中最为常用...
我们可以使用很多种方式让python脚本再后台运行，其中最简单的方式是使用linux下的nohup命令1.nohup命令nohup python test.py &这样test.py脚本就脱离了当前终端的控制，我们如果可...
Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。Beats对于收集数据非常有用。它们位于你的服务器上，将数据集中在Ela...
昨天我们已经成功搭建ELK，具体的部署过程可以查看我昨天的笔记：https://sulao.cn/post/728，今天我们就来看看如何使用ELK在需要拉取日志的机器上安装filebeatyum localinstall...
ELK是elastic 公司旗下三款产品ElasticSearch 、Logstash 、Kibana的首字母组合，主要用于日志收集、分析与报表展示。ELK Stack包含：ElasticSearch、Logstash、...
Zabbixserver有一个特殊的进程用来连接Javagateway叫StartJavaPollers；Javagateway通过配置文件中START_POLLERS参数设置启动多个线程，在zabbix服务器这边如果一...