kafka 管理工具 kafka eagle

以前写过一个关于kafka管理工具的文章，请参考：kafka-manager 创建 topic

kafka-manager功能比较单一，并且用起来，总感觉哪里不对，怪怪的。推荐大家使用kafka eagle

Kafka Eagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.3.9，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等

1，下载kafka eagle

http://download.kafka-eagle.org/

2，设置环境变量

# vim .bashrc  //结尾添加以下
export KE_HOME=/bigdata/eagle-kafka
export PATH=$PATH:$KE_HOME/bin

# source .bashrc

3，创建mysql数据库连接

mysql> create database eagle;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on eagle.* TO kafka@'%' IDENTIFIED BY '123456_AbBAc';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

4，配置kafka eagle

# vim /bigdata/eagle-kafka/conf/system-config.properties

# 多个 zookeeper 和 kafka 集群列表
# 可以多个 zookeeper集群 别名
######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1

#zookeeper集群ip端口列表
cluster1.zk.list=bigserver1:2181,bigserver2:2181,testing:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# zk client thread limit
######################################
# zookeeper 客户端线程限制，即客户端zkCli最大个数
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
# kafka-eagle的webui页面的port
# kafka.eagle管控台访问端口 访问http://ip:8048/ke/
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
# kafka offset 的存储位置
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk

######################################
# enable kafka metrics
######################################
# 是否启动监控图表，默认是false不启动的
kafka.eagle.metrics.charts=true
# 在使用Kafka SQL查询主题时，如果遇到错误，可以尝试开启这个属性，默认情况下，不开启
kafka.eagle.sql.fix.error=true

######################################
# kafka sql topic records max
######################################
# 在使用 Kafka SQL 查询 topic主题 时的 记录数最大值
kafka.eagle.sql.topic.records.max=5000

######################################
# alarm email configure
######################################
# 警报电子邮件配置，默认是false不启动的
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa@163.com
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# alarm im configure
######################################
# 警报IM（wechat、钉钉）配置
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=

#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

######################################
# delete kafka topic token
######################################
# 删除 kafka topic主题的 token令牌
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
# Kafka SASL认证，如果启动Kafka SASL协议开启该属性，默认是false不启动的
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

######################################
# kafka jdbc driver address
######################################

# <Optional> set mysql address
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://10.0.40.237:3306/eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=kafka
kafka.eagle.password=123456_AbBAc

5，启动kafka eagle

# ke.sh start  //如果出现以下内容，说明启动成功了

。。。。。。。。。。。。。。。。。。。。。。。。。省略。。。。。。。。。。。。。。。。。。。。。。。。。。。

*******************************************************************
* Kafka Eagle system monitor port successful...
*******************************************************************
[2019-10-16 11:13:43] INFO: Status Code[0]
[2019-10-16 11:13:43] INFO: [Job done!]
Welcome to
    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______
   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/
  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/
 / /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___
/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   

Version 1.3.9
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://10.0.40.175:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
*  ke.sh [start|status|stop|restart|stats]
*  https://www.kafka-eagle.org/
*******************************************************************

[root@testing ~]# jps
6240 HMaster
27809 KafkaEagle //多出一个进程
32263 QuorumPeerMain
24632 NameNode
4889 ResourceManager
6107 HRegionServer
24716 JournalNode
28155 Kafka
24846 DFSZKFailoverController
28126 Jps

6，kafka eagle特色功能

kafka eagle 整合zkcli

kafka eagle ksql查topic中的数据

kafka eagle 生产数据

kafka eagle特色功能，还有很多，例如：消费滞后报警，bscreen报表等