Apache Kafka是一个分布式流处理平台，广泛应用于实时数据管道和流应用。它具备高吞吐量、低延迟、可扩展性强等特点，适用于日志收集、消息系统、流处理等场景。Kafka的核心概念包括Topic、Partition、Producer、Consumer、Broker等。
在Kafka中，Topic是消息的分类。创建Topic时，需要指定分区数和副本因子。
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic my_topic
--zookeeper: Zookeeper连接地址。--replication-factor: 副本因子，表示每个分区的副本数。--partitions: 分区数，表示Topic的分区数量。--topic: Topic名称。列出Kafka集群中的所有Topic。
kafka-topics.sh --list --zookeeper localhost:2181
查看指定Topic的详细信息，包括分区、副本、ISR（In-Sync Replicas）等。
kafka-topics.sh --describe --zookeeper localhost:2181 --topic my_topic
删除指定的Topic。
kafka-topics.sh --delete --zookeeper localhost:2181 --topic my_topic
使用Kafka自带的控制台生产者工具向指定Topic发送消息。
kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
--broker-list: Kafka Broker地址。--topic: 目标Topic名称。使用Kafka自带的控制台消费者工具从指定Topic消费消息。
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my_topic --from-beginning
--bootstrap-server: Kafka Broker地址。--topic: 目标Topic名称。--from-beginning: 从最早的消息开始消费。列出Kafka集群中的所有消费者组。
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
查看指定消费者组的详细信息，包括消费进度、Lag等。
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my_consumer_group
--group: 消费者组名称。重置消费者组的偏移量，可以指定从最早或最新的消息开始消费。
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my_consumer_group --reset-offsets --to-earliest --execute --topic my_topic
--reset-offsets: 重置偏移量。--to-earliest: 从最早的消息开始消费。--execute: 执行重置操作。启动Kafka Broker。
bin/kafka-server-start.sh config/server.properties
config/server.properties: Kafka配置文件路径。停止Kafka Broker。
bin/kafka-server-stop.sh
查看Kafka Broker的日志文件，通常位于logs/server.log。
tail -f logs/server.log
使用Kafka自带的工具或第三方工具（如Kafka Manager、Confluent Control Center）监控Kafka集群状态。
kafka-topics.sh --describe --zookeeper localhost:2181
Kafka的配置文件通常位于config/server.properties，可以通过修改该文件来调整Kafka的配置。
vi config/server.properties
Kafka的数据备份可以通过复制日志文件（Log Segments）来实现。恢复时，将备份的日志文件复制回Kafka的数据目录。
cp -r /backup/kafka-logs /path/to/kafka/data
Kafka的性能调优涉及多个方面，包括调整Broker配置、优化Topic分区、调整Producer和Consumer配置等。
# 调整Broker配置
vi config/server.properties
# 优化Topic分区
kafka-topics.sh --alter --zookeeper localhost:2181 --topic my_topic --partitions 10
Kafka强大的分布式流处理平台，提供了丰富的命令行工具来支持开发和运维工作。本文介绍了Kafka常用的开发和运维命令，涵盖了Topic管理、消息生产与消费、消费者组管理、集群监控、配置管理、数据备份与恢复、性能调优等方面。掌握这些命令，可以帮助开发者更高效地使用Kafka，确保系统的稳定性和高性能。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
