Kafka-Manager部署和基本使用

因为kafkaManager支持对Kafka的主题的增删改查操作,和消费者对数据的消费情况。而kafkaMonitor对kafka新版(1.0版后),支持不太好,比如在Kafka1.1版中,用代码创建的Topic,地址没有直接绑定zookeeper,而是通过的bootstrap.server指定的Broker地址,间接绑定到zookeeper,在KafkaMonitor中却查看不到这些Topic,果断放弃了使用kafkaMonitor我们来看看kafka-manager的部署过程吧,目前最新版本还是2018年的kafka-manager-1.3....

阅读全文

Centos7编写zookeeper和kafka开机启动服务

之前有部署过kafka,但是用的比较少,以后可能用的比较多了,所以编写整理了下kafka和zookeeper的开机启动服务的编写之前部署的笔记可以查看这里:https://sulao.cn/post/489.html我部署的目录是/usr/local/kafka,脚本约定部署目录为此目录,如果不一样可以直接修改下面服务里的路径zookeeper开机启动服务脚本#vi /usr/lib/systemd/system/zookeeper.service [Unit]Description=zookeeper projec...

阅读全文

Redis性能调优

尽管Redis是一个非常快速的内存数据存储媒介,也并不代表Redis不会产生性能问题。前文中提到过,Redis采用单线程模型,所有的命令都是由一个线程串行执行的,所以当某个命令执行耗时较长时,会拖慢其后的所有命令,这使得Redis对每个任务的执行效率更加敏感。针对Redis的性能优化,主要从下面几个层面入手:最初的也是最重要的,确保没有让Redis执行耗时长的命令使用pipelining将连续执行的命令组合执行操作系统的Transparenthugepages功能必须关闭:echo never > /sys/ker...

阅读全文

Redis两种数据持久化介绍

Redis提供了将数据定期自动持久化至硬盘的能力,包括RDB和AOF两种方案,两种持久化方案各有优劣,在实际应用中,还是根据我们的场景来选择持久化的方式RDB方式的持久化几乎不损耗Redis本身的性能,在进行RDB持久化时,Redis主进程唯一需要做的事情就是fork出一个子进程,所有持久化工作都由子进程完成Redis无论因为什么原因crash掉之后,重启时能够自动恢复到上一次RDB快照中记录的数据。这省去了手工从其他数据源(如DB)同步数据的过程,而且要比其他任何的数据恢复方式都要快采用RDB持久方式,Redis会定期保存数据快照至一个rbd文件中,并...

阅读全文

Centos7部署haproxy负载均衡

Haproxy是一个使用C语言编写的自由及开放代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理,可以运行于大部分主流的Linux操作系统上。本次实验用到三台服务器,一台服务器安装haproxy实现调度,另两台服务器搭建nginx提供web服务,两台web服务器的部署这里暂时不再介绍,如需要搭建请查看之前的nginx相关笔记haproxy服务器:172.26.61.51web服务器1:172.26.61.52web服务器2:172.26.61.53首先关闭selinuxsed -i 's/SEL...

阅读全文

ELK中logstash收集数据写入redis数据积压的问题

我们之前写过一篇logstash收集数据输出到redis的笔记:https://sulao.cn/post/739.html,可能我们有一点顾虑,redis单个key的最大value大小为512M,在生产环境中收集集群机器的日志数据可能512M一会就会写满,所以写满以后导致了redis的数据积压,导致数据读写瓶颈,其实logstash写入和读取redis的时候使用list方式分别使用rpush和lblpop推入和删除已读数据,logstash插入数据到list的最后,logstash不断取走列表的第一个组数据并删除,redis读取数据非常快,所以一般情况...

阅读全文

zabbix4.4配置自动发现和关联主机模板

使用zabbix监控大量主机的时候,我们一个个配置过去有点不现实,所以我们需要使用到zabbix的自动发现功能来批量添加监控主机我们先来看看zabbix的自动发现的配置配置->自动发现,然后创建发现规则,基本配置如下然后再去配置->动作,事件源(自动发现)->创建动作名称随意填写,计算方式我选择的"或",条件你可以根据需要自行选择,我选的还是比较多的,可以删减一些,已启用勾选上,然后切换到操作标签这里基本无需要改什么,主要是操作里面添加关联模板,这样自动发现的主机可以直接关联上模板然后我们去检测->自动发现页面...

阅读全文

zabbix4.4使用snmp的方式监控

简单网络管理协议(SNMP,SimpleNetworkManagementProtocol)构成了互联网工程工作小组(IETF,InternetEngineeringTaskForce)定义的Internet协议族的一部分。该协议能够支持网上管理系统,用以监测连接到网络上的设备是否有任何引起管理上关注的情况。SNMP协议主要由两大部分构成:SNMP管理站和SNMP代理。SNMP管理站是一个中心节点,负责收集维护各个SNMP元素的信息,并对这些信息进行处理,最后反馈给网络管理员;而SNMP代理是运行在各个被管理的网络节点之上,负责统计该节点的各...

阅读全文

ELK中logstash数据修改插件mutate的使用方法

filters/mutate插件是Logstash另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。类型转换类型转换是filters/mutate插件最初诞生时的唯一功能。其应用场景在之前Codec/JSON小节已经提到。可以设置的转换类型包括:"integer","float"和"string"。示例如下:filter {  mutate {    ...

阅读全文