温馨提示×

linux kafka怎么学

小樊
65
2026-09-26 13:02:29
栏目: 智能运维

学习 Linux 下的 Kafka,可以按「先懂概念 → 再装会用 → 深入原理 → 实战演练」的路径来。下面给你一套系统、可操作的学习路线,适合零基础到进阶。


一、先搞懂:Kafka 是什么(1–2天)

不要一上来就敲命令,先理解核心概念:

核心概念

  • Broker:Kafka 服务节点
  • Topic:消息主题(逻辑分类)
  • Partition:分区(提高并发)
  • Producer:生产者
  • Consumer:消费者
  • Consumer Group:消费者组
  • Zookeeper / KRaft:元数据存储(新版本可不依赖 ZK)

推荐资料

  • 官方文档(最权威):
    https://kafka.apache.org/documentation/
  • 入门文章:《Kafka 核心概念一篇看懂》
  • 视频:B 站搜「Kafka 入门教程」

二、在 Linux 上安装 Kafka(重点)

Kafka 天然跑在 Linux,推荐用 CentOS / Ubuntu

方式一:单机版(学习用)

  1. 安装 JDK
java -version
  1. 下载 Kafka
wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1
  1. 启动(新版可用 KRaft)
bin/kafka-server-start.sh config/server.properties

方式二:Docker(更省事)

docker run -d --name kafka -p 9092:9092 bitnami/kafka

三、学会基本操作(必须熟练)

1. 创建 Topic

bin/kafka-topics.sh --create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 3 --replication-factor 1

2. 生产消息

bin/kafka-console-producer.sh \
--topic test --bootstrap-server localhost:9092

3. 消费消息

bin/kafka-console-consumer.sh \
--topic test --from-beginning --bootstrap-server localhost:9092

4. 查看 Topic

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

四、写代码(Java / Python)

Java(最主流)

  • 学 KafkaProducer
  • 学 KafkaConsumer
  • 理解 offset、ack、重试

Python(简单)

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('test', b'hello kafka')

五、进阶内容(面试/工作必看)

  • 分区与副本机制
  • 消费者位移(offset)
  • 消息不丢失配置
  • 幂等 & 事务
  • 吞吐量优化
  • Kafka + Flink / Spark
  • 监控:Kafka Eagle、Prometheus

六、学习建议(很重要)

✅ 先在 Linux 上手动装一遍
✅ 用命令行把生产消费跑通
✅ 再写代码
✅ 最后看源码和架构


七、如果你愿意

你可以告诉我:

  • 你是 运维 / 开发 / 学生?
  • 用 Java 还是 Python?
  • 想学 基础使用还是原理/面试?

我可以直接给你定制学习计划和练习任务。

0 踩