centos kafka集群部署

在CentOS上部署Kafka集群涉及多个步骤，包括安装Java、配置Zookeeper和Kafka服务器。以下是一个基本的指南：

Kafka需要Java运行时环境。你可以使用OpenJDK或Oracle JDK。

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

从Apache Kafka官方网站下载最新版本的Kafka，并解压到指定目录。

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

Kafka使用Zookeeper进行集群管理。首先启动Zookeeper。

编辑config/zookeeper.properties文件：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
server.1=localhost:2888:3888

创建myid文件：

echo "1" > /var/lib/zookeeper/myid

启动Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

假设你有三个Zookeeper节点，分别配置如下：

节点1:

节点2:

节点3:

在每个节点的myid文件中写入对应的ID：

echo "1" > /var/lib/zookeeper1/myid
echo "2" > /var/lib/zookeeper2/myid
echo "3" > /var/lib/zookeeper3/myid

分别启动每个节点的Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

编辑config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

对于其他节点，修改broker.id和listeners端口，并更新zookeeper.connect：

节点2:

broker.id=2
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs
zookeeper.connect=node1:2181,node2:2182,node3:2183

节点3:

broker.id=3
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs
zookeeper.connect=node1:2181,node2:2182,node3:2183

在每个节点上启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

创建一个主题来测试集群：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

列出所有主题：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

查看主题详细信息：

bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

通过这些步骤，你应该能够在CentOS上成功部署一个Kafka集群。根据实际需求，你可能需要进一步调整配置和优化性能。

最新问答