下面给你一个Linux 下 Kafka 入门的实用路线,从“是什么”到“能跑起来”,适合零基础。
Kafka 是一个分布式消息队列 / 流式数据平台,常用于:
核心概念:
Kafka 依赖 JVM:
java -version
没有就装:
sudo apt update
sudo apt install openjdk-11-jdk -y
以 Kafka 3.x 为例(带 Zookeeper,适合入门):
wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1
bin/zookeeper-server-start.sh config/zookeeper.properties
另开一个终端
bin/kafka-server-start.sh config/server.properties
看到 started (kafka.server.KafkaServer) 就成功了。
bin/kafka-topics.sh \
--create \
--topic test \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1
查看:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
bin/kafka-console-producer.sh \
--topic test \
--bootstrap-server localhost:9092
输入:
hello kafka
新开终端:
bin/kafka-console-consumer.sh \
--topic test \
--bootstrap-server localhost:9092 \
--from-beginning
你会看到:
hello kafka
✅ 恭喜,你已经跑通 Kafka 了!
pip install kafka-python
from kafka import KafkaProducer
p = KafkaProducer(bootstrap_servers='localhost:9092')
p.send('test', b'hello from python')
p.flush()
from kafka import KafkaConsumer
c = KafkaConsumer('test', bootstrap_servers='localhost:9092')
for msg in c:
print(msg.value)
如果你愿意,我可以:
你现在是 完全零基础 还是 有开发经验?