之前有部署过kafka，但是用的比较少，以后可能用的比较多了，所以编写整理了下kafka和zookeeper的开机启动服务的编写之前部署的笔记可以查看这里：https://sulao.cn/post/489.html我部署的目录是/usr/local/kafka，脚本约定部署目录为此目录，如果不一样可以直接修改下面服务里的路径zookeeper开机启动服务脚本#vi /usr/lib/systemd/system/zookeeper.service [Unit]Description=zookeeper projec...
尽管Redis是一个非常快速的内存数据存储媒介，也并不代表Redis不会产生性能问题。前文中提到过，Redis采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得Redis对每个任务的执行效率更加敏感。针对Redis的性能优化，主要从下面几个层面入手：最初的也是最重要的，确保没有让Redis执行耗时长的命令使用pipelining将连续执行的命令组合执行操作系统的Transparenthugepages功能必须关闭：echo never > /sys/ker...
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种持久化方案各有优劣，在实际应用中，还是根据我们的场景来选择持久化的方式RDB方式的持久化几乎不损耗Redis本身的性能，在进行RDB持久化时，Redis主进程唯一需要做的事情就是fork出一个子进程，所有持久化工作都由子进程完成Redis无论因为什么原因crash掉之后，重启时能够自动恢复到上一次RDB快照中记录的数据。这省去了手工从其他数据源（如DB）同步数据的过程，而且要比其他任何的数据恢复方式都要快采用RDB持久方式，Redis会定期保存数据快照至一个rbd文件中，并...
Haproxy是一个使用C语言编写的自由及开放代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理，可以运行于大部分主流的Linux操作系统上。本次实验用到三台服务器，一台服务器安装haproxy实现调度，另两台服务器搭建nginx提供web服务，两台web服务器的部署这里暂时不再介绍，如需要搭建请查看之前的nginx相关笔记haproxy服务器：172.26.61.51web服务器1：172.26.61.52web服务器2：172.26.61.53首先关闭selinuxsed -i 's/SEL...
我们之前写过一篇logstash收集数据输出到redis的笔记：https://sulao.cn/post/739.html，可能我们有一点顾虑，redis单个key的最大value大小为512M，在生产环境中收集集群机器的日志数据可能512M一会就会写满，所以写满以后导致了redis的数据积压，导致数据读写瓶颈，其实logstash写入和读取redis的时候使用list方式分别使用rpush和lblpop推入和删除已读数据，logstash插入数据到list的最后，logstash不断取走列表的第一个组数据并删除，redis读取数据非常快，所以一般情况...
使用zabbix监控大量主机的时候，我们一个个配置过去有点不现实，所以我们需要使用到zabbix的自动发现功能来批量添加监控主机我们先来看看zabbix的自动发现的配置配置->自动发现，然后创建发现规则，基本配置如下然后再去配置->动作，事件源(自动发现)->创建动作名称随意填写，计算方式我选择的"或"，条件你可以根据需要自行选择，我选的还是比较多的，可以删减一些，已启用勾选上，然后切换到操作标签这里基本无需要改什么，主要是操作里面添加关联模板，这样自动发现的主机可以直接关联上模板然后我们去检测->自动发现页面...
简单网络管理协议（SNMP，SimpleNetworkManagementProtocol）构成了互联网工程工作小组（IETF，InternetEngineeringTaskForce）定义的Internet协议族的一部分。该协议能够支持网上管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。SNMP协议主要由两大部分构成：SNMP管理站和SNMP代理。SNMP管理站是一个中心节点，负责收集维护各个SNMP元素的信息，并对这些信息进行处理，最后反馈给网络管理员；而SNMP代理是运行在各个被管理的网络节点之上，负责统计该节点的各...
filters/mutate插件是Logstash另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。类型转换类型转换是filters/mutate插件最初诞生时的唯一功能。其应用场景在之前Codec/JSON小节已经提到。可以设置的转换类型包括："integer"，"float"和"string"。示例如下：filter { mutate { ...
logstash调用系统执行命令exec的方法比较简单，调用exec命令可以直接调用系统脚本或者命令，处理的方法可以变的更加灵活例如我们在zabbix的邮件报警笔记中使用到了python脚本进行报警，通过稍作修改，也可以让ELK实现邮件报警，或者是钉钉，短信告警output { if [Level] == "ERROR" { &...
之前的学习都是logstash收集过滤的日志再次传递到ES中进行存储使用，在实际的工作中有些日志我们是不需要存储到DB中，而是直接收集打包存储到硬盘logstash中的output/file插件可以实现这个功能，使用例子如下output { file { path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log.gz...