之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式，具体可以查看我之前的笔记：https://sulao.cn/post/730

今天这里主要讲下如何在ES中添加添加自定义字段，标签和在logstash中修改filebeat传入的数据

这个主要还是在filebeat中实现

01.
filebeat.inputs:
02.
 
03.
- type: log
04.
  enabled: true
05.
  paths:
06.
    - /usr/local/nginx/logs/access.log
07.
  fields:
08.
    tag: nginx-access
09.
 
10.
- type: log
11.
  enabled: true
12.
  paths:
13.
    - /usr/local/nginx/logs/error.log
14.
  fields:
15.
    tag: nginx-error

上述例子是我们添加自定义字段tag代表日志来源，然后我们可以看到多了field.tag

其实我只是想添加一个tag标签来区分来源，其实es中已经自带tags，我们直接在filebeat里面写好即可，像这样

01.
filebeat.inputs:
02.
 
03.
- type: log
04.
  enabled: true
05.
  paths:
06.
    - /usr/local/nginx/logs/access.log
07.
  tags: ["nginx-access"]
08.
 
09.
- type: log
10.
  enabled: true
11.
  paths:
12.
    - /usr/local/nginx/logs/error.log
13.
  tags: ["nginx-error"]

当我们这样改好filebeat以后去kibana上去查看最新日志，发现tags中有两个值

01.
"tags": [
02.
      "nginx-access",
03.
      "beats_input_codec_plain_applied"
04.
    ]

查阅了一些资料，发现beats_input_codec_plain_applied这个是ELK系统自己加上的，所以我们来看看有没有什么方法可以把它去掉

方法是有的，可以在logstash中使用filter过滤器中修改下

01.
filter {
02.
  if "beats_input_codec_plain_applied" in [tags] {
03.
    mutate {
04.
      remove_tag => ["beats_input_codec_plain_applied"]
05.
    }
06.
  }
07.
}

我们改后以后重启下logstash，再去kibana上去查看发现这个自带标签已经被删除了

然后filter过滤器支持以下这些方法