温馨提示×

Kafka在Linux上的部署步骤是什么

小樊
67
2025-03-21 05:28:35
栏目: 智能运维

在Linux上部署Kafka主要包括以下几个步骤:

1. 环境准备

  • 操作系统版本:选择合适的Linux发行版,如CentOS、Ubuntu等。
  • 服务器列表:准备要部署Kafka的服务器IP地址。
  • 软件安装包:下载Java、Zookeeper和Kafka的安装包。

2. 安装Java环境

  • 安装命令
    • 对于Ubuntu/Debian:
      sudo apt update
      sudo apt install openjdk-8-jdk
      
    • 对于CentOS/RHEL:
      sudo yum install java-1.8.0-openjdk
      
  • 配置环境变量: 编辑/etc/profile文件,添加以下内容:
    export JAVA_HOME=/path/to/java
    export PATH=$PATH:$JAVA_HOME/bin
    
    使环境变量生效:
    source /etc/profile
    
    验证安装:
    java -version
    

3. 安装Zookeeper集群

  • 解压Zookeeper安装包
    tar -zxvf zookeeper-3.4.10.tar.gz -C /opt
    
  • 配置环境变量: 编辑/etc/profile文件,添加以下内容:
    export ZOOKEEPER_HOME=/path/to/zookeeper
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
    
    使环境变量生效:
    source /etc/profile
    
  • 配置Zookeeper配置文件: 编辑/opt/zookeeper/conf/zoo.cfg文件,设置以下参数:
    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=/data/zookeeper/data
    clientPort=2181
    maxClientCnxns=60
    dataLogDir=/data/zookeeper/log
    server.1=server01:2888:3888
    server.2=server02:2888:3888
    server.3=server03:2888:3888
    
  • 开启防火墙端口
    firewall-cmd --add-port=2181/tcp --permanent
    firewall-cmd --add-port=2888/tcp --permanent
    firewall-cmd --add-port=3888/tcp --permanent
    firewall-cmd --reload
    
  • 创建myid文件: 在每个Zookeeper节点的/data/zookeeper/data目录下创建myid文件,内容为其对应的服务器ID。

4. 安装Kafka

  • 解压Kafka安装包
    tar -zxvf kafka_2.12-3.5.2.tgz -C /opt
    
  • 配置Kafka: 编辑Kafka的配置文件/opt/kafka/config/server.properties,设置以下参数:
    broker.id=0
    port=9092
    host.name=localhost
    log.dirs=/opt/kafka/kafka_2.12-3.5.2/logs
    zookeeper.connect=localhost:2181
    
  • 启动Zookeeper服务
    ./bin/zookeeper-server-start.sh config/zookeeper.properties
    
  • 启动Kafka服务
    ./bin/kafka-server-start.sh config/server.properties
    

5. 创建Topic

  • 创建Topic
    ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
  • 列出Topic
    ./bin/kafka-topics.sh --zookeeper localhost:2181 --list
    

6. 测试Kafka

  • 生产者测试
    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    
  • 消费者测试
    ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
    

通过以上步骤,您可以在Linux系统上成功部署和配置Kafka。如果在部署过程中遇到问题,可以参考相关文档或社区资源进行排查。

0