ELK使用logstash采集过滤mongodb日志

自己在测试环境中尝试编写一些简单的日志规则,于是拿mongodb的日志进行测试,整体的ELK环境这里不再讲了,如果不熟悉可以查看我之前的笔记:https://sulao.cn/category-14_2.html,主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpmyum localinstall filebeat-7.4.0...

阅读全文

ELK中kibana添加登陆认证的限制

之前配置的ELK中,kibana直接访问5601端口即可登陆,但是我们的日志管理系统是暴露在公网上的,这样是非常不安全的,所以我们要给kibana的登陆增加认证功能,需要口令来登陆ELK中X-Pack安全性使你能够轻松地保护集群。通过X-Pack安全性,你可以对数据进行密码保护,并实现更高级的安全措施,如加密通信、基于角色的访问控制、IP过滤和审计但是X-Pack是收费的,只允许免费使用30天,所以这里我们用另外一种方式来增加登陆认证使用的nginx的认证方式,具体配置方法如下首先生成密码文件yum install httpd-too...

阅读全文

Kafka-Manager部署和基本使用

因为kafkaManager支持对Kafka的主题的增删改查操作,和消费者对数据的消费情况。而kafkaMonitor对kafka新版(1.0版后),支持不太好,比如在Kafka1.1版中,用代码创建的Topic,地址没有直接绑定zookeeper,而是通过的bootstrap.server指定的Broker地址,间接绑定到zookeeper,在KafkaMonitor中却查看不到这些Topic,果断放弃了使用kafkaMonitor我们来看看kafka-manager的部署过程吧,目前最新版本还是2018年的kafka-manager-1.3....

阅读全文

Centos7编写zookeeper和kafka开机启动服务

之前有部署过kafka,但是用的比较少,以后可能用的比较多了,所以编写整理了下kafka和zookeeper的开机启动服务的编写之前部署的笔记可以查看这里:https://sulao.cn/post/489.html我部署的目录是/usr/local/kafka,脚本约定部署目录为此目录,如果不一样可以直接修改下面服务里的路径zookeeper开机启动服务脚本#vi /usr/lib/systemd/system/zookeeper.service [Unit]Description=zookeeper projec...

阅读全文

Redis性能调优

尽管Redis是一个非常快速的内存数据存储媒介,也并不代表Redis不会产生性能问题。前文中提到过,Redis采用单线程模型,所有的命令都是由一个线程串行执行的,所以当某个命令执行耗时较长时,会拖慢其后的所有命令,这使得Redis对每个任务的执行效率更加敏感。针对Redis的性能优化,主要从下面几个层面入手:最初的也是最重要的,确保没有让Redis执行耗时长的命令使用pipelining将连续执行的命令组合执行操作系统的Transparenthugepages功能必须关闭:echo never > /sys/ker...

阅读全文

Redis两种数据持久化介绍

Redis提供了将数据定期自动持久化至硬盘的能力,包括RDB和AOF两种方案,两种持久化方案各有优劣,在实际应用中,还是根据我们的场景来选择持久化的方式RDB方式的持久化几乎不损耗Redis本身的性能,在进行RDB持久化时,Redis主进程唯一需要做的事情就是fork出一个子进程,所有持久化工作都由子进程完成Redis无论因为什么原因crash掉之后,重启时能够自动恢复到上一次RDB快照中记录的数据。这省去了手工从其他数据源(如DB)同步数据的过程,而且要比其他任何的数据恢复方式都要快采用RDB持久方式,Redis会定期保存数据快照至一个rbd文件中,并...

阅读全文

Centos7部署haproxy负载均衡

Haproxy是一个使用C语言编写的自由及开放代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理,可以运行于大部分主流的Linux操作系统上。本次实验用到三台服务器,一台服务器安装haproxy实现调度,另两台服务器搭建nginx提供web服务,两台web服务器的部署这里暂时不再介绍,如需要搭建请查看之前的nginx相关笔记haproxy服务器:172.26.61.51web服务器1:172.26.61.52web服务器2:172.26.61.53首先关闭selinuxsed -i 's/SEL...

阅读全文

ELK中logstash收集数据写入redis数据积压的问题

我们之前写过一篇logstash收集数据输出到redis的笔记:https://sulao.cn/post/739.html,可能我们有一点顾虑,redis单个key的最大value大小为512M,在生产环境中收集集群机器的日志数据可能512M一会就会写满,所以写满以后导致了redis的数据积压,导致数据读写瓶颈,其实logstash写入和读取redis的时候使用list方式分别使用rpush和lblpop推入和删除已读数据,logstash插入数据到list的最后,logstash不断取走列表的第一个组数据并删除,redis读取数据非常快,所以一般情况...

阅读全文

zabbix4.4配置自动发现和关联主机模板

使用zabbix监控大量主机的时候,我们一个个配置过去有点不现实,所以我们需要使用到zabbix的自动发现功能来批量添加监控主机我们先来看看zabbix的自动发现的配置配置->自动发现,然后创建发现规则,基本配置如下然后再去配置->动作,事件源(自动发现)->创建动作名称随意填写,计算方式我选择的"或",条件你可以根据需要自行选择,我选的还是比较多的,可以删减一些,已启用勾选上,然后切换到操作标签这里基本无需要改什么,主要是操作里面添加关联模板,这样自动发现的主机可以直接关联上模板然后我们去检测->自动发现页面...

阅读全文