Debian Kafka 集群搭建方法

在Debian系统上搭建Kafka集群需要以下几个步骤：

1. 环境准备

• 安装JDK：

  sudo apt update
  sudo apt install openjdk-8-jdk
  

  验证安装：

  java -version
  

• 下载并解压Kafka： 从Apache Kafka官网下载对应版本的Kafka安装包。例如，下载Kafka 3.5.2版本：

  wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
  tar -xzf kafka_2.12-3.5.2.tgz
  cd kafka_2.12-3.5.2
  

2. 安装Zookeeper

• 下载并解压Zookeeper：

  wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
  tar -xzf zookeeper-3.6.1.tar.gz
  cd zookeeper-3.6.1
  

• 配置Zookeeper集群： 复制zoo_sample.cfg为zoo.cfg：

  cp conf/zoo_sample.cfg conf/zoo.cfg
  

  编辑zoo.cfg文件，配置集群模式：

  server.1=zookeeper1:2888:3888
  server.2=zookeeper2:2888:3888
  server.3=zookeeper3:2888:3888
  

• 启动Zookeeper集群：

  nohup ./bin/zookeeper-server-start.sh config/zoo.cfg >/dev/null 2>&1 &
  

3. 配置Kafka集群

• 复制Kafka配置文件： 在每台Kafka服务器上，复制server.properties文件：

  cp config/server.properties config/server.properties.orig
  

• 修改Kafka配置文件： 编辑每台Kafka服务器的server.properties文件，配置如下：

  broker.id=1  # 每台机器的broker ID不同
  listeners=PLAINTEXT://:9092
  advertised.listeners=PLAINTEXT://your_server_ip:9092
  zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
  

• 启动Kafka集群：

  nohup ./bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
  

4. 验证集群

• 检查Kafka集群状态： 使用Kafka提供的命令行工具检查集群状态：

  kafka-topics.sh --describe --bootstrap-server your_server_ip:9092
  

5. 注意事项

• 确保所有服务器的防火墙允许Kafka和Zookeeper的端口通信。
• 在生产环境中，建议使用更高版本的Kafka和Zookeeper，并参考官方文档进行配置。

以上步骤提供了一个基本的Debian Kafka集群搭建流程，具体配置可能需要根据实际情况进行调整。