ELK中logstash调用执行命令exec的方法

logstash调用系统执行命令exec的方法比较简单,调用exec命令可以直接调用系统脚本或者命令,处理的方法可以变的更加灵活例如我们在zabbix的邮件报警笔记中使用到了python脚本进行报警,通过稍作修改,也可以让ELK实现邮件报警,或者是钉钉,短信告警output {      if [Level]  == "ERROR" {      &...

阅读全文

ELK中使用logstash将采集的日志打包保存

之前的学习都是logstash收集过滤的日志再次传递到ES中进行存储使用,在实际的工作中有些日志我们是不需要存储到DB中,而是直接收集打包存储到硬盘logstash中的output/file插件可以实现这个功能,使用例子如下output {    file {        path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log.gz...

阅读全文

ELK中logstash收集日志写入redis

ELK中我们通常是使用logstash收集到日志然后直接提交到ES中进行存储,当在大量日志的场景下,当存储已经跟不上收集的速度是我们需要使用队列来进行顺序存储,redis在项目中作为存储中间件,下面我们就在之前的笔记的基础上进行一些修改,以便支持redis存取日志信息之前的logstash配置可以查看https://sulao.cn/post/736.html,我们来看看如何使用redis存取吧首先我们需要安装redis,这里不赘述redis的安装修改/etc/logstash/conf.d/logstash.confinput {&nbs...

阅读全文

zabbix4.4使用自定义监控脚本监控mysql

由于官方zabbix4.4的mysql监控方法有些问题,一直没找到原因,看到zabbix论坛有和我一样问题的人,于是还是采用老的方式来监控zabbix性能以前的笔记查看这个,https://sulao.cn/post/513.html,该方案只适合zabbix3.4和zabbix4.0官网的各种监控方案请查看这里:https://www.zabbix.com/cn/integrations/当前主要配置过程如下首先修改zabbix-agent.conf配置文件UnsafeUserParameters=1 #去掉前面#,然后值修改为1然后我们需要...

阅读全文

zabbix使用钉钉机器人发送告警信息

zabbix通过钉钉机器人报警大致和邮件报警类似,邮件报警可以查看我之前的笔记https://sulao.cn/post/396.html我们首先要去钉钉上创建一个群组,然后在群组中点击智能群助手,添加自定义机器人添加的时候主要记录webhook后续操作基本和之前添加邮件报警一致,将脚本放置/usr/local/zabbix/share/zabbix/alertscripts目录下,我的脚本名叫dingtalk.py,代码如下#!/usr/bin/python3#coding: utf-8import requestsim...

阅读全文

ELK中Logstash使用grok进行日志过滤

Logstash是Elasticstack中的一个开源组件,其不仅能够对日志进行抓取收集,还能对抓取的日志进行过滤输出。Logstash的过滤插件有多种,如:grok、date、json、geoip等等。其中最为常用的为grok正则表达式过滤grok的匹配语法分为两种:grok自带的基本匹配模式、用户自定义的匹配模式。Grok的基本匹配模式Grok模块提供了默认内嵌了一些基本匹配模式,其使用语法为:%{SYNTAX:SEMANTIC}其中SYNTAX为匹配模式的名称,用于调用相应的匹配模式匹配文本,如:3.44会被NUBER模式所匹配,而10.10...

阅读全文

ELK中日志添加自定义字段和修改标签字段的方法

之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式,具体可以查看我之前的笔记https://sulao.cn/post/733.html今天这里主要讲下如何在ES中添加添加自定义字段,标签和在logstash中修改filebeat传入的数据这个主要还是在filebeat中实现filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local...

阅读全文

python-daemon实现后台守护进程

我们可以使用很多种方式让python脚本再后台运行,其中最简单的方式是使用linux下的nohup命令1.nohup命令nohup python test.py &这样test.py脚本就脱离了当前终端的控制,我们如果可以使用ps命令查找进程并关闭2.tmux终端tmux是一个提供后台终端窗口的会话服务,我们只需要开启tmux,然后再tmux窗口中运行脚本,然后退出tmux即可3.python-daemon模块这个模块可以使我们的脚本变为后台守护进程,这个模块需要安装pip install pyt...

阅读全文

ELK中filebeat匹配和过滤日志的方法

Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装,并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。Beats对于收集数据非常有用。它们位于你的服务器上,将数据集中在Elasticsearch中,Beats也可以发送到Logstash来进行转换和解析。Beats可以直接(或者通过Logstash)将数据发送到Elasticsearch,在那里你可以进一步处理和增强数据,然后在Kibana中将其可视化我们昨天使用了下ELK发现一个问题,就是收集过来的日志含有一些我们不需要的行,所以今天我们来给大家讲下如何过滤...

阅读全文

ELK收集日志和kibana使用方法

昨天我们已经成功搭建ELK,具体的部署过程可以查看我昨天的笔记https://sulao.cn/post/731.html,今天我们就来看看如何使用ELK在需要拉取日志的机器上安装filebeatyum localinstall filebeat-7.4.0-x86_64.rpm然后修改配置文件vi /etc/filebeat/filebeat.yml- type: log  enabled: true  paths:  ...

阅读全文