温馨提示×

linux kafka怎样入门

小樊
55
2026-10-19 21:49:55
栏目: 智能运维

下面给你一个Linux 下 Kafka 入门的实用路线,从“是什么”到“能跑起来”,适合零基础。


一、先了解 Kafka 是什么(30 秒版)

Kafka 是一个分布式消息队列 / 流式数据平台,常用于:

  • 日志收集
  • 消息通信
  • 实时数据处理

核心概念:

  • Producer:发消息的
  • Consumer:收消息的
  • Topic:消息主题(类似文件夹)
  • Broker:Kafka 服务节点
  • Zookeeper(老版本)/ KRaft(新版本):协调管理

二、环境准备(Linux)

1. 安装 Java(必须)

Kafka 依赖 JVM:

java -version

没有就装:

sudo apt update
sudo apt install openjdk-11-jdk -y

2. 下载 Kafka

以 Kafka 3.x 为例(带 Zookeeper,适合入门):

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1

三、启动 Kafka(本地单机)

1. 启动 Zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

另开一个终端

2. 启动 Kafka

bin/kafka-server-start.sh config/server.properties

看到 started (kafka.server.KafkaServer) 就成功了。


四、第一个 Kafka 示例(很重要)

1. 创建 Topic

bin/kafka-topics.sh \
--create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1

查看:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

2. 发送消息(Producer)

bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092

输入:

hello kafka

3. 消费消息(Consumer)

新开终端:

bin/kafka-console-consumer.sh \
--topic test \
--bootstrap-server localhost:9092 \
--from-beginning

你会看到:

hello kafka

✅ 恭喜,你已经跑通 Kafka 了!


五、用代码入门(推荐 Python)

安装

pip install kafka-python

Producer

from kafka import KafkaProducer

p = KafkaProducer(bootstrap_servers='localhost:9092')
p.send('test', b'hello from python')
p.flush()

Consumer

from kafka import KafkaConsumer

c = KafkaConsumer('test', bootstrap_servers='localhost:9092')
for msg in c:
    print(msg.value)

六、学习路线建议

入门阶段

  • Topic / Partition
  • Producer / Consumer
  • 消费组(Consumer Group)

进阶阶段

  • 副本机制
  • 消息可靠性(ack)
  • offset 管理
  • 日志清理策略

实战阶段

  • Kafka + Flink
  • Kafka + Spark
  • 日志系统(ELK)

七、常见坑提醒

  • ❌ 端口没开(9092)
  • ❌ Zookeeper 没启动
  • ❌ 防火墙问题
  • ❌ 用错 bootstrap-server

如果你愿意,我可以:

  • 教你 Kafka 集群搭建
  • 给你 Docker 版 Kafka
  • 用 真实业务例子讲 Kafka

你现在是 完全零基础 还是 有开发经验?

0 踩