kafka的监控系统,试试Kafka Eagle怎么样

在实际生产中,对于kafka的监控是非常重要的,因为我们需要了解消费情况,topic的管理,broker的管理等,目前kafka常用的监控系统有下面三个

(1),Kafka Web Conslole

(2),Kafka Manager

(3),KafkaOffsetMonitor

但他们都或多或少存在一些问题,使用起来不是特别方便,今天给大家介绍的是另外一个监控系统Kafka Eagle,下面先来说一下它的安装.

1,下载地址:http://download.kafka-eagle.org/ 如果觉得下载的比较慢的话,可以找我,我这边有下载好的.

2,解压,配置环境变量,都比较简单,这里就不在写了.

3,配置文件的介绍

# 配置多个Kafka集群所对应的Zookeeperkafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=master:2181,storm1:2181,storm2:2181
# 设置Zookeeper线程数kafka.zk.limit.size=10
# 设置Kafka Eagle浏览器访问端口kafka.eagle.webui.port=8048
# 如果你的offsets存储在Kafka中，这里就配置# 属性值为kafka，如果是在Zookeeper中，可以# 注释该属性。一般情况下，Offsets的也和你消# 费者API有关系，如果你使用的Kafka版本为0.10.x# 以后的版本，但是，你的消费API使用的是0.8.2.x# 时的API，此时消费者依然是在Zookeeper中cluster1.kafka.eagle.offset.storage=kafka
# 邮件服务器设置，用来告警,可以设置钉钉或者是微信#kafka.eagle.im.dingding.enable=true#kafka.eagle.im.dingding.url=#kafka.eagle.im.wechat.enable=true#kafka.eagle.im.wechat.token=#kafka.eagle.im.wechat.url=#kafka.eagle.im.wechat.touser=#kafka.eagle.im.wechat.toparty=#kafka.eagle.im.wechat.totag=#kafka.eagle.im.wechat.agentid=
# 是否启动监控图表，默认是不启动的kafka.eagle.metrics.charts=true
# 在使用Kafka SQL查询主题时，如果遇到错误，# 可以尝试开启这个属性，默认情况下，不开启kafka.eagle.sql.fix.error=false
# 超级管理员删除主题的Tokenkafka.eagle.topic.token=keadmin
# 如果启动Kafka SASL协议，开启该属性cluster1.kafka.eagle.sasl.enable=falsecluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXTcluster1.kafka.eagle.sasl.mechanism=PLAINcluster2.kafka.eagle.sasl.enable=falsecluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXTcluster2.kafka.eagle.sasl.mechanism=PLAIN
# Kafka Eagle默认存储在Sqlite中，如果要使用# MySQL可以替换驱动、用户名、密码、连接地址#kafka.eagle.driver=org.sqlite.JDBC#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db#kafka.eagle.username=root#kafka.eagle.password=smartloli
# <Optional> set mysql addresskafka.eagle.driver=com.mysql.jdbc.Driverkafka.eagle.url=******kafka.eagle.username=*****kafka.eagle.password=******

4,启动

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start

下面是登录的页面,默认账号/密码为：admin/123456

登录上后可以看到主页面,如下图所示

我简单的用了一下,主要包括的功能有,支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。

使用完的感觉是功能还是比较全面的,但是感觉页面的响应速度有点慢,点击完需要等的时间有点长,这一点的用户体验不是很好,当然了,这里面还有很多功能,我还没有体验到的,大家有兴趣的可以自己尝试一下.