ELK中logstash从kafka中读写数据
考虑到发布和订阅消息的实时性问题，有时需要消费者重新消费之前的历史日志消息，所以后面肯定需要使用kafka替换掉原来使用的redis，所以这里暂时先mark下logstash清洗过滤日志以后发布到kafka主题中的方式将日志数据导入到kafkainput { beats { port => 5044 codec => plain { &...
考虑到发布和订阅消息的实时性问题，有时需要消费者重新消费之前的历史日志消息，所以后面肯定需要使用kafka替换掉原来使用的redis，所以这里暂时先mark下logstash清洗过滤日志以后发布到kafka主题中的方式将日志数据导入到kafkainput { beats { port => 5044 codec => plain { &...
自己在测试环境中尝试编写一些简单的日志规则，于是拿mongodb的日志进行测试，整体的ELK环境这里不再讲了，如果不熟悉可以查看我之前的笔记：https://sulao.cn/category-14_2.html，主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpmyum localinstall filebeat-7.4.0...
我们之前写过一篇logstash收集数据输出到redis的笔记：https://sulao.cn/post/739.html，可能我们有一点顾虑，redis单个key的最大value大小为512M，在生产环境中收集集群机器的日志数据可能512M一会就会写满，所以写满以后导致了redis的数据积压，导致数据读写瓶颈，其实logstash写入和读取redis的时候使用list方式分别使用rpush和lblpop推入和删除已读数据，logstash插入数据到list的最后，logstash不断取走列表的第一个组数据并删除，redis读取数据非常快，所以一般情况...
filters/mutate插件是Logstash另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换，字符串处理和字段处理等。类型转换类型转换是filters/mutate插件最初诞生时的唯一功能。其应用场景在之前Codec/JSON小节已经提到。可以设置的转换类型包括："integer"，"float"和"string"。示例如下：filter { mutate { ...
logstash调用系统执行命令exec的方法比较简单，调用exec命令可以直接调用系统脚本或者命令，处理的方法可以变的更加灵活例如我们在zabbix的邮件报警笔记中使用到了python脚本进行报警，通过稍作修改，也可以让ELK实现邮件报警，或者是钉钉，短信告警output { if [Level] == "ERROR" { &...
之前的学习都是logstash收集过滤的日志再次传递到ES中进行存储使用，在实际的工作中有些日志我们是不需要存储到DB中，而是直接收集打包存储到硬盘logstash中的output/file插件可以实现这个功能，使用例子如下output { file { path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log.gz...
ELK中我们通常是使用logstash收集到日志然后直接提交到ES中进行存储，当在大量日志的场景下，当存储已经跟不上收集的速度是我们需要使用队列来进行顺序存储，redis在项目中作为存储中间件，下面我们就在之前的笔记的基础上进行一些修改，以便支持redis存取日志信息之前的logstash配置可以查看https://sulao.cn/post/736.html，我们来看看如何使用redis存取吧首先我们需要安装redis，这里不赘述redis的安装修改/etc/logstash/conf.d/logstash.confinput {&nbs...
之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式，具体可以查看我之前的笔记https://sulao.cn/post/733.html今天这里主要讲下如何在ES中添加添加自定义字段，标签和在logstash中修改filebeat传入的数据这个主要还是在filebeat中实现filebeat.inputs:- type: log enabled: true paths: - /usr/local...
ELK是elastic公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，主要用于日志收集、分析与报表展示。ELKStack包含：ElasticSearch、Logstash、Kibana。（ELKStack5.0版本以后-->ElasticStack==ELKStack+Beats）ElasticSearch是一个搜索引擎，用来搜索、分析、存储日志。它是分布式的，也就是说可以横向扩容，可以自动发现，索引自动分片，总之很强大。Logstash用来采集日志，把日志解析为Json格式交给Elast...