ELK中日志添加自定义字段和修改标签字段的方法

之前的笔记有讲到filebeat可以通过一些方式过滤数据的方式,具体可以查看我之前的笔记https://sulao.cn/post/733.html今天这里主要讲下如何在ES中添加添加自定义字段,标签和在logstash中修改filebeat传入的数据这个主要还是在filebeat中实现filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local...

阅读全文

python-daemon实现后台守护进程

我们可以使用很多种方式让python脚本再后台运行,其中最简单的方式是使用linux下的nohup命令1.nohup命令nohup python test.py &这样test.py脚本就脱离了当前终端的控制,我们如果可以使用ps命令查找进程并关闭2.tmux终端tmux是一个提供后台终端窗口的会话服务,我们只需要开启tmux,然后再tmux窗口中运行脚本,然后退出tmux即可3.python-daemon模块这个模块可以使我们的脚本变为后台守护进程,这个模块需要安装pip install pyt...

阅读全文

ELK中filebeat匹配和过滤日志的方法

Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装,并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。Beats对于收集数据非常有用。它们位于你的服务器上,将数据集中在Elasticsearch中,Beats也可以发送到Logstash来进行转换和解析。Beats可以直接(或者通过Logstash)将数据发送到Elasticsearch,在那里你可以进一步处理和增强数据,然后在Kibana中将其可视化我们昨天使用了下ELK发现一个问题,就是收集过来的日志含有一些我们不需要的行,所以今天我们来给大家讲下如何过滤...

阅读全文

ELK收集日志和kibana使用方法

昨天我们已经成功搭建ELK,具体的部署过程可以查看我昨天的笔记https://sulao.cn/post/731.html,今天我们就来看看如何使用ELK在需要拉取日志的机器上安装filebeatyum localinstall filebeat-7.4.0-x86_64.rpm然后修改配置文件vi /etc/filebeat/filebeat.yml- type: log  enabled: true  paths:  ...

阅读全文

centos7部署ELK7.4

ELK是elastic公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合,主要用于日志收集、分析与报表展示。ELKStack包含:ElasticSearch、Logstash、Kibana。(ELKStack5.0版本以后-->ElasticStack==ELKStack+Beats)ElasticSearch是一个搜索引擎,用来搜索、分析、存储日志。它是分布式的,也就是说可以横向扩容,可以自动发现,索引自动分片,总之很强大。Logstash用来采集日志,把日志解析为Json格式交给Elast...

阅读全文

zabbix4.4监控tomcat和jvm实例性能

Zabbixserver有一个特殊的进程用来连接Javagateway叫StartJavaPollers;Javagateway通过配置文件中START_POLLERS参数设置启动多个线程,在zabbix服务器这边如果一个连接所用时间超过Timeout,将会被中断,但是Javagateway将继续从JMXcounter取数据。所以StartJavaPollers设置的值要小于等于START_POLLERS设置的值zabbix-java-gateway工作在10052端口,Zabbix-Javagateway就相当于一个代理,它负责收集客户端tomcat数...

阅读全文

zabbix4.4监控nginx状态

zabbix4.4官方已经支持监控nginx了,直接使用TemplateAppNginxbyZabbixagent模板,当然我们还是需要简单的进行配置下主要是被监控主机的nginx需要配置下,首先需要检查nginx是否已经将需要的模块编译进去了/usr/local/nginx/sbin/nginx -V 2>&1 | grep -o with-http_stub_status_module如果返回模块名就说明已经编译进去了然后修改nginx.conf,添加以下配置loca...

阅读全文

Centos7下编译安装lnmp环境(nginx1.18.0+mysql5.7.44+php7.4.33)

centos7编译安装mysql5.7.44+nginx1.18.0+php7.4.33,和之前的教程大体一样,只是有一些微改变,编译安装顺序最好按此文的顺序mysql->nginx->php这样可以看看我之前centos6编译的教程,https://sulao.cn/post/111.html首先约定下部署规范,所有软件均上传到/usr/loca/src目录,编译安装到/usr/local/下的软件名目录下面我们来看看centos7上编译的过程首先关闭selinuxsed -i 's/SELINUX=enforc...

阅读全文

Mysql磁盘IO过高的解决办法

由于日志的记录带来的直接性能损耗就是数据库系统中最为昂贵的IO资源。MySQL的日志包括错误日志(ErrorLog),更新日志(UpdateLog),二进制日志(Binlog),查询日志(QueryLog),慢查询日志(SlowQueryLog)等。当然,更新日志是老版本的MySQL才有的,目前已经被二进制日志替代。在默认情况下,系统仅仅打开错误日志,关闭了其他所有日志,以达到尽可能减少IO损耗提高系统性能的目的。但是在一般稍微重要一点的实际应用场景中,都至少需要打开二进制日志,因为这是MySQL很多存储引擎进行增量备份的基础,也是MySQL实现复制的基...

阅读全文

linux部署postfix+dovecot打造属于自己的邮件系统

Postfix是一种电子邮件服务器,它是由任职于IBM华生研究中心(T.J.WatsonResearchCenter)的荷兰籍研究员WietseVenema为了改良sendmail邮件服务器而产生的。postfix由十几个具有不同功能的半驻留进程组成,并且在这些进程中并无特定的进程间父子关系。某一个特定的进程可以为其他进程提供特定的服务。大多数的postfix进程由一个进程统一进行管理,该进程负责在需要的时候调用其他进程,这个管理进程就是master进程。该进程也是一个后台程序。这些postfix进程是可以配置的,我们可以配置每个进程运行的数目...

阅读全文