ELK中修改默认的@timestamp时间为日志生成时间

在logstash处理filebeat收集的日志数据以后我们可以发现logstash解析以后有一个@timestamp时间,然后而这个时间跟我们grok解析日志以后里面所包含的时间不是一致的,logstash收集日志的@timestamp时间是日志采集时间,而且使用的是UTC时区,相对于北京时间会晚8个小时,我们一般都不太关注日志采集时间,而是更加关注日志生成时间,所以我们需要将@timestamp字段的时间改写成日志生成时间我们这里还是用之前收集mongodb日志的例子来继续学习下如何改写@timestamp字段的时间,mongodb收集日志的方式还是...

阅读全文

ELK中logstash数据修改插件mutate的使用方法

filters/mutate插件是Logstash另一个重要插件。它提供了丰富的基础类型数据处理能力。包括类型转换,字符串处理和字段处理等。类型转换类型转换是filters/mutate插件最初诞生时的唯一功能。其应用场景在之前Codec/JSON小节已经提到。可以设置的转换类型包括:"integer","float"和"string"。示例如下:filter {  mutate {    ...

阅读全文

ELK中日志添加自定义字段和修改标签字段的方法

之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式,具体可以查看我之前的笔记https://sulao.cn/post/733.html今天这里主要讲下如何在ES中添加添加自定义字段,标签和在logstash中修改filebeat传入的数据这个主要还是在filebeat中实现filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local...

阅读全文