ELK使用logstash采集过滤mongodb日志

自己在测试环境中尝试编写一些简单的日志规则,于是拿mongodb的日志进行测试,整体的ELK环境这里不再讲了,如果不熟悉可以查看我之前的笔记:https://sulao.cn/category-14_2.html,主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpmyum localinstall filebeat-7.4.0...

阅读全文

ELK中日志添加自定义字段和修改标签字段的方法

之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式,具体可以查看我之前的笔记https://sulao.cn/post/733.html今天这里主要讲下如何在ES中添加添加自定义字段,标签和在logstash中修改filebeat传入的数据这个主要还是在filebeat中实现filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local...

阅读全文

ELK中filebeat匹配和过滤日志的方法

Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装,并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。Beats对于收集数据非常有用。它们位于你的服务器上,将数据集中在Elasticsearch中,Beats也可以发送到Logstash来进行转换和解析。Beats可以直接(或者通过Logstash)将数据发送到Elasticsearch,在那里你可以进一步处理和增强数据,然后在Kibana中将其可视化我们昨天使用了下ELK发现一个问题,就是收集过来的日志含有一些我们不需要的行,所以今天我们来给大家讲下如何过滤...

阅读全文