Kafka配置Ubuntu时需注意哪些细节

在Ubuntu上配置Kafka时，有几个关键的细节需要注意，以确保系统的稳定性和性能。以下是一些需要注意的要点：

1. 安装JDK

• Kafka是用Scala编写的，运行在JVM上，因此需要安装JDK。推荐使用JDK 1.8或更高版本。
• 安装命令：

  sudo apt update
  sudo apt install openjdk-8-jdk
  

• 验证安装：

  java -version
  

2. 安装和配置Zookeeper

• Kafka早期版本依赖Zookeeper进行管理和协调。虽然Kafka 2.8.0及以后版本引入了Kraft模式，可以不依赖Zookeeper，但为了简化配置，建议仍然安装Zookeeper。
• 下载并解压Zookeeper：

  wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
  tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz
  

• 配置Zookeeper： 编辑/etc/environment文件，添加Zookeeper路径和JAVA_HOME环境变量：

  export KAFKA_HOME=/path/to/zookeeper
  export PATH=$PATH:$KAFKA_HOME/bin
  

• 启动Zookeeper：

  source /etc/environment
  ./bin/zookeeper-server-start.sh config/zookeeper.properties
  

3. 配置Kafka

• 下载并解压Kafka：

  wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz
  tar -xzvf kafka_2.12-3.6.2.tgz
  cd kafka_2.12-3.6.2
  

• 配置Kafka的主要配置文件server.properties：
  • broker.id：每个Broker的唯一标识。
  • listeners：Kafka服务端使用的协议、主机名以及端口的格式。
  • log.dirs：用于存储日志文件的目录。
  • num.partitions：每个Topic默认的partition数量。
  • auto.create.topics.enable：是否允许Topic被自动创建。

4. 环境变量配置

• 在/etc/profile或~/.bashrc文件中添加Kafka和Zookeeper的环境变量：

  export KAFKA_HOME=/path/to/kafka
  export PATH=$PATH:$KAFKA_HOME/bin
  

• 使配置生效：

  source /etc/profile
  

5. 开放端口

• 使用ufw或firewalld开放Kafka和Zookeeper所需的端口：

  sudo ufw allow 9092/tcp
  sudo ufw allow 9093/tcp
  sudo ufw reload
  

  或

  sudo firewall-cmd --zone public --add-port 9092/tcp --permanent
  sudo firewall-cmd --zone public --add-port 9093/tcp --permanent
  sudo firewall-cmd --reload
  

6. 启动和验证

• 启动Kafka服务：

  ./bin/kafka-server-start.sh config/server.properties
  

• 验证Kafka是否启动成功：

  netstat -tulnp | grep 9092
  

• 使用Kafka自带的脚本进行测试：
  • 创建Topic：

    ./bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
    

  • 生产消息：

    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    

  • 消费消息：

    ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    

7. 注意事项

• 确保每个节点的broker.id不冲突。
• 在配置Zookeeper时，确保dataDir和clientPort配置正确。
• 在配置Kafka时，确保listeners和log.dirs配置正确。
• 在启动Kafka之前，确保所有配置文件没有语法错误。

通过注意以上细节，可以确保在Ubuntu上配置Kafka时系统的稳定性和性能。