kafka 管理工具 kafka eagle

张映 发表于 2019-10-23

分类目录: hadoop/spark/scala

标签:,

以前写过一个关于kafka管理工具的文章,请参考:kafka-manager 创建 topic

kafka-manager功能比较单一,并且用起来,总感觉哪里不对,怪怪的。推荐大家使用kafka eagle

Kafka Eagle监控系统是一款用来监控Kafka集群的工具,目前更新的版本是v1.3.9,支持管理多个Kafka集群、管理Kafka主题(包含查看、删除、创建等)、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等

1,下载kafka eagle

http://download.kafka-eagle.org/

2,设置环境变量

# vim .bashrc  //结尾添加以下
export KE_HOME=/bigdata/eagle-kafka
export PATH=$PATH:$KE_HOME/bin

# source .bashrc

3,创建mysql数据库连接

mysql> create database eagle;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on eagle.* TO kafka@'%' IDENTIFIED BY '123456_AbBAc';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

4,配置kafka eagle

# vim /bigdata/eagle-kafka/conf/system-config.properties

# 多个 zookeeper 和 kafka 集群列表
# 可以多个 zookeeper集群 别名
######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1

#zookeeper集群ip端口列表
cluster1.zk.list=bigserver1:2181,bigserver2:2181,testing:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# zk client thread limit
######################################
# zookeeper 客户端线程限制,即客户端zkCli最大个数
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
# kafka-eagle的webui页面的port
# kafka.eagle管控台访问端口 访问http://ip:8048/ke/
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
# kafka offset 的存储位置
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk

######################################
# enable kafka metrics
######################################
# 是否启动监控图表,默认是false不启动的
kafka.eagle.metrics.charts=true
# 在使用Kafka SQL查询主题时,如果遇到错误,可以尝试开启这个属性,默认情况下,不开启
kafka.eagle.sql.fix.error=true

######################################
# kafka sql topic records max
######################################
# 在使用 Kafka SQL 查询 topic主题 时的 记录数最大值
kafka.eagle.sql.topic.records.max=5000

######################################
# alarm email configure
######################################
# 警报电子邮件配置,默认是false不启动的
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa@163.com
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# alarm im configure
######################################
# 警报IM(wechat、钉钉)配置
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=

#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

######################################
# delete kafka topic token
######################################
# 删除 kafka topic主题的 token令牌
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
# Kafka SASL认证,如果启动Kafka SASL协议开启该属性,默认是false不启动的
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

######################################
# kafka jdbc driver address
######################################

# <Optional> set mysql address
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://10.0.40.237:3306/eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=kafka
kafka.eagle.password=123456_AbBAc

5,启动kafka eagle

# ke.sh start  //如果出现以下内容,说明启动成功了

。。。。。。。。。。。。。。。。。。。。。。。。。省略。。。。。。。。。。。。。。。。。。。。。。。。。。。

*******************************************************************
* Kafka Eagle system monitor port successful...
*******************************************************************
[2019-10-16 11:13:43] INFO: Status Code[0]
[2019-10-16 11:13:43] INFO: [Job done!]
Welcome to
    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______
   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/
  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/
 / /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___
/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   

Version 1.3.9
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://10.0.40.175:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
*  ke.sh [start|status|stop|restart|stats]
*  https://www.kafka-eagle.org/
*******************************************************************

[root@testing ~]# jps
6240 HMaster
27809 KafkaEagle //多出一个进程
32263 QuorumPeerMain
24632 NameNode
4889 ResourceManager
6107 HRegionServer
24716 JournalNode
28155 Kafka
24846 DFSZKFailoverController
28126 Jps

6,kafka eagle特色功能

kafka eagle 整合zkcli

kafka eagle 整合zkcli

kafka eagle ksql查topic中的数据

kafka eagle ksql查topic中的数据

kafka eagle 生产数据

kafka eagle 生产数据

kafka eagle特色功能,还有很多,例如:消费滞后报警,bscreen报表等



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2209.html