centos下如何部署kafka

在CentOS系统上部署Apache Kafka涉及多个步骤，包括安装Java、下载Kafka、配置Kafka以及启动Kafka服务。以下是一个详细的指南：

1. 安装Java

Kafka需要Java运行时环境（JRE）或Java开发工具包（JDK）。你可以使用以下命令安装OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

验证Java安装：

java -version

2. 下载Kafka

访问Kafka的官方网站（https://kafka.apache.org/downloads）下载最新版本的Kafka。你可以使用wget命令下载：

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz

解压下载的文件：

tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

3. 配置Kafka

Kafka的配置文件位于config目录下。你需要编辑以下几个关键配置文件：

server.properties

这是Kafka服务器的主要配置文件。你可以根据需要进行修改：

vi config/server.properties

主要配置项包括：

broker.id: 唯一标识一个broker的ID。
listeners: 监听地址和端口。
log.dirs: 日志存储目录。
zookeeper.connect: Zookeeper连接字符串。

示例配置：

broker.id=0
listeners=PLAINTEXT://your_server_ip:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

zookeeper.properties

Zookeeper的配置文件：

vi config/zookeeper.properties

主要配置项包括：

dataDir: Zookeeper数据存储目录。
clientPort: Zookeeper客户端连接端口。

示例配置：

dataDir=/var/lib/zookeeper
clientPort=2181

4. 启动Zookeeper

Kafka依赖Zookeeper来管理集群状态。首先启动Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

5. 启动Kafka

在另一个终端窗口中启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

6. 创建Topic

创建一个Topic来测试Kafka：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1

7. 验证Kafka

发送和接收消息来验证Kafka是否正常工作：

发送消息

bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

在终端中输入消息并按回车键发送。

接收消息

bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

你应该能看到之前发送的消息。

8. 停止Kafka和Zookeeper

停止Kafka服务器：

bin/kafka-server-stop.sh

停止Zookeeper服务器：

bin/zookeeper-server-stop.sh

9. 配置防火墙

确保防火墙允许Kafka使用的端口（默认是9092）：

sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent
sudo firewall-cmd --reload

通过以上步骤，你应该能够在CentOS系统上成功部署和运行Apache Kafka。