Kafka-Manager部署和基本使用

因为kafka Manager支持对Kafka的主题的增删改查操作,和消费者对数据的消费情况。而kafka Monitor对kafka新版(1.0版后),支持不太好,比如在Kafka1.1版中,用代码创建的Topic,地址没有直接绑定zookeeper,而是通过的bootstrap.server指定的Broker地址,间接绑定到zookeeper,在Kafka Monitor中却查看不到这些Topic,果断放弃了使用kafka Monitor
我们来看看kafka-manager的部署过程吧,目前最新版本还是2018年的kafka-manager-1.3.3.18版本,kafka只支持到2.2.0版,所以需要注意下我们的kafka版本

cd /usr/local/src
git clone https://github.com/yahoo/kafka-manager.git
tar -zxvf 1.3.3.18.tar.gz

这样解压出来是kafka-manager-1.3.3.18目录,我们还需要进行编译

我们需要做下镜像加速的配置

cd ~
mkdir .sbt
#vi repositories
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

保存退出

:wq repositories

接下来的编译过程需要借助Play框架

cd kafka-manager-1.3.3.18
./sbt clean dist

如果提示sbt的错误我们就yum安装下这个工具

yum install sbt

然后重新执行

./sbt clean dist

编译完成以后我们可以在kafka-manager-1.3.3.18/target/universal目录下看到kafka-manager-1.3.3.18.zip这个压缩包
我们解压后将此目录移到我们的目标目录下

unzip kafka-manager-1.3.3.18.zip
mv kafka-manager-1.3.3.18 /usr/local/kafka-manager

编辑配置文件

#vi /usr/local/kafka-manager/conf/application.conf
kafka-manager.zkhosts="localhost:2181" #此行中的localhost改为你zookeeper服务器的IP地址

配置修改就结束了,我们需要启动它

cd /usr/local/kafka-manager
bin/kafka-manager &

启动默认访问端口是9000,启动以后我们可以查看下9000端口是否监听

同时也可以将9000默认端口修改为其他的,只需要在启动的时候增加参数

bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9900 &

这样访问端口就变为9900了

接着我们再来看看如何使用

打开浏览器输入ip:9900

第一次访问需要我们建立集群,点击Cluster->Add Cluster
微信截图_20191106145244.jpg
Cluster Name:填写集群命令,随便填写
Cluster Zookeeper Hosts:zookeeper主机,例如我的是122.51.230.106:2181
Kafka Version:kafka版本,我的版本是2.2.0
勾选以下
#启用JMX轮询(在启动kafka服务器之前设置JMX_PORT环境变量)
Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)
#对消费者信息进行轮询(如果ZK用于在较旧的Kafka版本上进行偏移跟踪,则不建议对大量的消费者进行轮询)
Poll consumer information (Not recommended for large # of consumers if ZK is used for offsets tracking on older Kafka versions)
#启用活动偏移缓存(不建议为大量用户启用)
Enable Active OffsetCache (Not recommended for large # of consumers)


内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://sulao.cn/post/751.html