温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

怎么查看Kafka的Topic消费情况

发布时间:2021-12-08 15:45:10 来源:亿速云 阅读:5354 作者:小新 栏目:大数据

这篇文章主要介绍了怎么查看Kafka的Topic消费情况,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

1.文档编写目的


在我们的应用程序消费Kafka的Topic消息时,我们会关注Topic中消息总量以及消费情况,那接下来Fayson就主要介绍下如何在CDH集群中使用命令行的方式查看Topic的消费情况。

  • 本次Fayson的测试环境为

1.CM和CDH版本为5.15

2.Redhat7.4

3.Kafka 0.10.2+kafka2.2.0

2.命令行查看


在Kafka的脚本里提供了kafka-run-class.sh的脚本,使用该脚本查看Consumer组内消费Topic的Offset情况。

怎么查看Kafka的Topic消费情况

1.在命令行执行如下命令查看指定Topic及ConsumerGroup的消费情况

[root@cdh01 bin]# kafka-run-class kafka.tools.ConsumerOffsetChecker --zookeeper cdh01.fayson.com:2181 --group test --topic kafka_kudu_topic_offset_3

第一次执行查看到kafka_kudu_topic_offset_3的testgroup组各个Partition的Offset消费情况以及每个Partition的总消息量。

怎么查看Kafka的Topic消费情况

2.kafka_kudu_topic_offset_3的Topic发送600条消息,再次执行命令查看消费情况

怎么查看Kafka的Topic消费情况

此时没有消费的应用运行,可以看到Offset的数据未发生变化,而logSize的数据量有增加,每个partition的数量增加200条,刚好为我发送的消息数量。

3.启动消费程序消费Topic的消息,再次执行命令查看消费情况

怎么查看Kafka的Topic消费情况

在消费应用运行时,每个Partition的Offset数据发生变化,此时的Offset的数据与logSize的数据一致,在应用日志中也无新的消息接收,说明Topic的消息已被testgroup组消费完。

感谢你能够认真阅读完这篇文章,希望小编分享的“怎么查看Kafka的Topic消费情况”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI