python脚本加密的常用方式

在项目中有时不想别人看到我们写的python脚本内容,这时候我们需要将我们的python脚本进行加密,其实是不像让别人看到我写的代码太LOW了,(*^_^*)python脚本加密常用的有两种方式,一种是将文件.py文件转换为.pyc文件,但是这种加密方式可以被反编译,骗骗小白还是可以的,另一种方式则是使用cython将我们的脚本转换为.so文件我的测试代码很简单func.py文件,存放在test_func目录下#!/usr/bin/python3#coding:utf-8from func import test...

阅读全文

zabbix监控redis状态

redis是我们常用的数据中间件,在目前大多项目中经常会使用到,所以使用zabbix对他进行监控还是非常又必须要的,我们这里来看看具体操作过程,以下操作过程目录约束为/usr/local/redis,admin123为我的redis认证密码获取redis状态和性能有一个命令可以直接获取/usr/local/redis/src/redis-cli -a admin123 info返回# Serverredis_version:5.0.5redis_git_sha1:00000000redis_git_di...

阅读全文

kafka中删除topic的方法

目前在我的工作中删除topic这种操作基本很少去做,但是之前也做过几次,都是很粗暴的去目录下删除文件,移除目录等方法这次学习的笔记中我们学习记录如何彻底删除kafka的topic,按照一个正常的流程去操作,删除kafka的步骤有以下这些首先你需要停止订阅这个topic的所有消费者和生产者,如果不停止回导致broker一致更新消费者offset状态,直接调用kafka删除命令无法删除topic,同时auto.create.topics.enable的值设置为false,默认是true,如果不进行修改的话,没有完全停止生产者,生产者在没有topic的情况下回...

阅读全文

python使用pykafka操作kafka

Kafka是一种分布式的、分区的、多副本的基于发布/订阅的消息系统。它是通过zookeeper进行协调,常见可以用于web/nginx日志、访问日志、消息服务等。主要应用场景为:日志收集系统和消息系统。Kafka的主要设计目标如下:1.以时间复杂度为O(1)的方式提供持久化能力,即使对TB级别以上的数据也能保证常数时间的访问性能。2.高吞吐率,即使在十分廉价的机器上也能实现单机支持每秒100K条消息的传输。3.支持KafkaServer(即Kafka集群的服务器)间的消息分区,及分布式消费,同时保证每个parti...

阅读全文

kafka查看存储数据的方法

我们通过之前得学习,得知kafka一些特性和python操作kafka得方法,但是我们还没有学习过查看kafka数据方法,然后在这一篇笔记中我们来学习下使用命令来查看kafka数据我们首先查看kafka主题分布情况/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic nginx-logsTopic:nginx-logs      &...

阅读全文

ELK中logstash从kafka中读写数据

考虑到发布和订阅消息的实时性问题,有时需要消费者重新消费之前的历史日志消息,所以后面肯定需要使用kafka替换掉原来使用的redis,所以这里暂时先mark下logstash清洗过滤日志以后发布到kafka主题中的方式将日志数据导入到kafkainput {  beats {    port => 5044    codec => plain { &...

阅读全文

ELK使用logstash采集过滤mongodb日志

自己在测试环境中尝试编写一些简单的日志规则,于是拿mongodb的日志进行测试,整体的ELK环境这里不再讲了,如果不熟悉可以查看我之前的笔记:https://sulao.cn/category-14_2.html,主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpmyum localinstall filebeat-7.4.0...

阅读全文

ELK中kibana添加登陆认证的限制

之前配置的ELK中,kibana直接访问5601端口即可登陆,但是我们的日志管理系统是暴露在公网上的,这样是非常不安全的,所以我们要给kibana的登陆增加认证功能,需要口令来登陆ELK中X-Pack安全性使你能够轻松地保护集群。通过X-Pack安全性,你可以对数据进行密码保护,并实现更高级的安全措施,如加密通信、基于角色的访问控制、IP过滤和审计但是X-Pack是收费的,只允许免费使用30天,所以这里我们用另外一种方式来增加登陆认证使用的nginx的认证方式,具体配置方法如下首先生成密码文件yum install httpd-too...

阅读全文

Kafka-Manager部署和基本使用

因为kafkaManager支持对Kafka的主题的增删改查操作,和消费者对数据的消费情况。而kafkaMonitor对kafka新版(1.0版后),支持不太好,比如在Kafka1.1版中,用代码创建的Topic,地址没有直接绑定zookeeper,而是通过的bootstrap.server指定的Broker地址,间接绑定到zookeeper,在KafkaMonitor中却查看不到这些Topic,果断放弃了使用kafkaMonitor我们来看看kafka-manager的部署过程吧,目前最新版本还是2018年的kafka-manager-1.3....

阅读全文