在项目中有时不想别人看到我们写的python脚本内容，这时候我们需要将我们的python脚本进行加密，其实是不像让别人看到我写的代码太LOW了，(*^_^*)python脚本加密常用的有两种方式，一种是将文件.py文件转换为.pyc文件，但是这种加密方式可以被反编译，骗骗小白还是可以的，另一种方式则是使用cython将我们的脚本转换为.so文件我的测试代码很简单func.py文件，存放在test_func目录下#!/usr/bin/python3#coding:utf-8def test(name): &n...
redis是我们常用的数据中间件，在目前大多项目中经常会使用到，所以使用zabbix对他进行监控还是非常又必须要的，我们这里来看看具体操作过程，以下操作过程目录约束为/usr/local/redis，admin123为我的redis认证密码获取redis状态和性能有一个命令可以直接获取/usr/local/redis/src/redis-cli -a admin123 info返回# Serverredis_version:5.0.5redis_git_sha1:00000000redis_git_di...
目前在我的工作中删除topic这种操作基本很少去做，但是之前也做过几次，都是很粗暴的去目录下删除文件，移除目录等方法这次学习的笔记中我们学习记录如何彻底删除kafka的topic，按照一个正常的流程去操作，删除kafka的步骤有以下这些首先你需要停止订阅这个topic的所有消费者和生产者，如果不停止回导致broker一致更新消费者offset状态，直接调用kafka删除命令无法删除topic，同时auto.create.topics.enable的值设置为false，默认是true，如果不进行修改的话，没有完全停止生产者，生产者在没有topic的情况下回...
Kafka是一种分布式的、分区的、多副本的基于发布／订阅的消息系统。它是通过zookeeper进行协调，常见可以用于web/nginx日志、访问日志、消息服务等。主要应用场景为：日志收集系统和消息系统。Kafka的主要设计目标如下：1.以时间复杂度为O(1)的方式提供持久化能力，即使对TB级别以上的数据也能保证常数时间的访问性能。2.高吞吐率，即使在十分廉价的机器上也能实现单机支持每秒100K条消息的传输。3.支持KafkaServer(即Kafka集群的服务器)间的消息分区，及分布式消费，同时保证每个parti...
我们通过之前得学习，得知kafka一些特性和python操作kafka得方法，但是我们还没有学习过查看kafka数据方法，然后在这一篇笔记中我们来学习下使用命令来查看kafka数据我们首先查看kafka主题分布情况/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic nginx-logsTopic:nginx-logs &...
考虑到发布和订阅消息的实时性问题，有时需要消费者重新消费之前的历史日志消息，所以后面肯定需要使用kafka替换掉原来使用的redis，所以这里暂时先mark下logstash清洗过滤日志以后发布到kafka主题中的方式将日志数据导入到kafkainput { beats { port => 5044 codec => plain { &...
自己在测试环境中尝试编写一些简单的日志规则，于是拿mongodb的日志进行测试，整体的ELK环境这里不再讲了，如果不熟悉可以查看我之前的笔记：https://sulao.cn/category-14_2.html，主要从客户端的filebeat开始我们去mongodb服务器上安装filebeatwget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.0-x86_64.rpmyum localinstall filebeat-7.4.0...
之前配置的ELK中，kibana直接访问5601端口即可登陆，但是我们的日志管理系统是暴露在公网上的，这样是非常不安全的，所以我们要给kibana的登陆增加认证功能，需要口令来登陆ELK中X-Pack安全性使你能够轻松地保护集群。通过X-Pack安全性，你可以对数据进行密码保护，并实现更高级的安全措施，如加密通信、基于角色的访问控制、IP过滤和审计但是X-Pack是收费的，只允许免费使用30天，所以这里我们用另外一种方式来增加登陆认证使用的nginx的认证方式，具体配置方法如下首先生成密码文件yum install httpd-too...
因为kafkaManager支持对Kafka的主题的增删改查操作，和消费者对数据的消费情况。而kafkaMonitor对kafka新版(1.0版后),支持不太好，比如在Kafka1.1版中，用代码创建的Topic，地址没有直接绑定zookeeper，而是通过的bootstrap.server指定的Broker地址，间接绑定到zookeeper，在KafkaMonitor中却查看不到这些Topic，果断放弃了使用kafkaMonitor我们来看看kafka-manager的部署过程吧，目前最新版本还是2018年的kafka-manager-1.3....
redis启动警告问题：WARNING:TheTCPbacklogsettingof511cannotbeenforcedbecause/proc/sys/net/core/somaxconnissettothelowervalueof128.1.启动redisredis-serverredis.conf路径文件cd /usr/local/redis/src./redis-server ../redis.conf会报警告提示，提示如下：WARNING: The T...