kafka的监控系统,试试Kafka Eagle怎么样

在实际生产中,对于kafka的监控是非常重要的,因为我们需要了解消费情况,topic的管理,broker的管理等,目前kafka常用的监控系统有下面三个

(1),Kafka Web Conslole

(2),Kafka Manager

(3),KafkaOffsetMonitor

但他们都或多或少存在一些问题,使用起来不是特别方便,今天给大家介绍的是另外一个监控系统Kafka Eagle,下面先来说一下它的安装.

1,下载地址:http://download.kafka-eagle.org/ 如果觉得下载的比较慢的话,可以找我,我这边有下载好的.

2,解压,配置环境变量,都比较简单,这里就不在写了.

3,配置文件的介绍

配置多个Kafka集群所对应的Zookeeper

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=master:2181,storm1:2181,storm2:2181

设置Zookeeper线程数

kafka.zk.limit.size=10

设置Kafka Eagle浏览器访问端口

kafka.eagle.webui.port=8048

如果你的offsets存储在Kafka中，这里就配置

属性值为kafka，如果是在Zookeeper中，可以

注释该属性。一般情况下，Offsets的也和你消

费者API有关系，如果你使用的Kafka版本为0.10.x

以后的版本，但是，你的消费API使用的是0.8.2.x

时的API，此时消费者依然是在Zookeeper中

cluster1.kafka.eagle.offset.storage=kafka

邮件服务器设置，用来告警,可以设置钉钉或者是微信

kafka.eagle.im.dingding.enable=true

kafka.eagle.im.dingding.url=

kafka.eagle.im.wechat.enable=true

kafka.eagle.im.wechat.token=

kafka.eagle.im.wechat.url=

kafka.eagle.im.wechat.touser=

kafka.eagle.im.wechat.toparty=

kafka.eagle.im.wechat.totag=

kafka.eagle.im.wechat.agentid=

是否启动监控图表，默认是不启动的

kafka.eagle.metrics.charts=true

在使用Kafka SQL查询主题时，如果遇到错误，

可以尝试开启这个属性，默认情况下，不开启

kafka.eagle.sql.fix.error=false

超级管理员删除主题的Token

kafka.eagle.topic.token=keadmin

如果启动Kafka SASL协议，开启该属性

cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN

Kafka Eagle默认存储在Sqlite中，如果要使用

MySQL可以替换驱动、用户名、密码、连接地址

kafka.eagle.driver=org.sqlite.JDBC

kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db

kafka.eagle.username=root

kafka.eagle.password=smartloli

set mysql address

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=* kafka.eagle.username=
kafka.eagle.password=
4,启动

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start
下面是登录的页面,默认账号/密码为：admin/123456

登录上后可以看到主页面,如下图所示

我简单的用了一下,主要包括的功能有,支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。

使用完的感觉是功能还是比较全面的,但是感觉页面的响应速度有点慢,点击完需要等的时间有点长,这一点的用户体验不是很好,当然了,这里面还有很多功能,我还没有体验到的,大家有兴趣的可以自己尝试一下.

欢迎大家关注我的公众号