Ubuntu Kafka如何进行集群部署

在Ubuntu上部署Kafka集群涉及多个步骤，包括准备环境、配置Kafka和Zookeeper、启动服务以及验证集群状态。以下是一个详细的步骤指南：

1. 环境准备

安装Java：Kafka需要Java环境，推荐使用Java 8及以上版本。
```
sudo apt update
sudo apt install openjdk-11-jdk -y
```

下载Kafka：从Apache Kafka官网下载最新版本的Kafka。

wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz

解压Kafka：将下载的压缩包解压到指定目录。
```
tar -xzvf kafka_2.12-3.6.2.tgz -C /usr/local/
```

2. 配置Zookeeper

创建Zookeeper目录：

sudo mkdir -p /usr/local/kafka/data
sudo mkdir -p /usr/local/kafka/log

配置Zookeeper：编辑/usr/local/kafka/config/zookeeper.properties文件，设置数据目录和客户端端口等参数。
```
dataDir=/usr/local/kafka/data
clientPort=2181
```

启动Zookeeper：

sudo /usr/local/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties

3. 配置Kafka

复制配置文件：为每个Kafka broker创建一个配置文件。

sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-1.properties
sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-2.properties

修改配置文件：为每个broker配置唯一的broker.id、listeners和log.dirs等参数。

server-1.properties：

broker.id=1
listeners=PLAINTEXT://192.168.1.1:9092
log.dirs=/usr/local/kafka/data/kafka-logs-1

server-2.properties：

broker.id=2
listeners=PLAINTEXT://192.168.1.2:9092
log.dirs=/usr/local/kafka/data/kafka-logs-2

4. 启动Kafka

启动Kafka服务：在每个broker上启动Kafka服务。

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server-1.properties
sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server-2.properties

5. 验证集群

创建测试主题：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.1.1:9092,192.168.1.2:9092 --replication-factor 2 --partitions 1 --topic test-topic

列出主题：

sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.1.1:9092,192.168.1.2:9092

生产消息：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.1.1:9092,192.168.1.2:9092 --topic test-topic

消费消息：

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092,192.168.1.2:9092 --topic test-topic --from-beginning

6. 安全加固（可选）

配置SSL/TLS：为Kafka集群配置SSL/TLS加密。
SASL认证：启用SASL认证以增强安全性。
访问控制列表（ACL）：设置ACL以限制对特定主题的访问。
网络安全策略：使用VPC和安全组限制访问Kafka集群的机器。