温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

查看kafka消息队列的积压情况

发布时间:2020-07-12 04:45:03 来源:网络 阅读:19171 作者:猩球崛起 栏目:大数据

创建topic

kafka-topics --create --zookeeper master:2181/kafka2 --replication-factor 2 --partitions 3 --topic mydemo5

列出topic

kafka-topics --list --zookeeper master:2181/kafka2

描述topic

kafka-topics --describe --zookeeper master:2181/kafka2 --topic mydemo5

生产者生产消息

kafka-console-producer --broker-list master:9092 --topic mydemo5

消费者消费消息指定消费组名

kafka-console-consumer --bootstrap-server master:9092,node01:9092,node02:9092 --new-consumer --consumer-property group.id=test_kafka_game_x_g1 --topic mydemo5

查看正在运行的消费组

kafka-consumer-groups --bootstrap-server master:9092 --list --new-consumer  

查看kafka消息队列的积压情况
计算消息的消息堆积情况

kafka-consumer-groups --bootstrap-server master:9092 --describe --group  test_kafka_game_x_g1

查看kafka消息队列的积压情况
####详细说明
LogEndOffset 下一条将要被加入到日志的消息的位移
CurrentOffset 当前消费的位移
LAG 消息堆积量

消息堆积量:消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量
查看kafka消息队列的积压情况
LogEndOffset:代表Partition的最高日志位移。简称LEO
查看kafka消息队列的积压情况
消息发送到LeaderA之后会更新LEO的值,FollowerB和FllowerC也会实时拉取LeaderA中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题,所有HW必然不会与Leader的LEO相等,即LEO>=HW

参考
https://blog.csdn.net/u013256816/article/details/79955578

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI