Kafka在Debian上的安装步骤是什么

在 Debian 上安装 Apache Kafka 的步骤

一 准备环境

• 更新系统并安装 Java（Kafka 需要 Java 8 或更高版本）：
  • 更新软件包索引：sudo apt update
  • 安装 OpenJDK（二选一）：sudo apt install openjdk-11-jdk 或 sudo apt install default-jdk
  • 验证版本：java -version
• 建议创建专用系统用户（可选，提升安全性）：
  • 创建用户：sudo useradd -m kafka
  • 设置密码：sudo passwd kafka

二 安装与解压 Kafka

• 从 Apache 镜像下载 Kafka（示例为 3.5.2，请按需要替换为最新稳定版；注意 Scala 版本号会随发行版变化）：
  • 下载：wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
  • 解压：tar -xzf kafka_2.12-3.5.2.tgz
  • 移动到系统目录：sudo mv kafka_2.12-3.5.2 /opt/kafka
• 配置环境变量（便于全局使用 Kafka 脚本）：
  • 编辑 /etc/profile 或 ~/.bashrc：
    • export KAFKA_HOME=/opt/kafka
    • export PATH=$PATH:$KAFKA_HOME/bin
  • 使配置生效：source /etc/profile 或 source ~/.bashrc

三 配置 Kafka

• 编辑配置文件：sudo nano /opt/kafka/config/server.properties
• 常用关键项（单机示例，按需调整）：
  • broker.id=0（每个 Broker 唯一）
  • listeners=PLAINTEXT://:9092
  • log.dirs=/var/log/kafka（确保目录存在并可写，必要时先 sudo mkdir -p /var/log/kafka && sudo chown kafka:kafka /var/log/kafka）
  • 如仍使用外部 Zookeeper：zookeeper.connect=localhost:2181
• 说明：自 Kafka 2.8.0 起支持 KRaft 模式（内置仲裁控制器），可不再依赖外部 Zookeeper；若采用 KRaft，请参考官方文档生成并配置 process.roles、controller.quorum.voters 等参数

四 启动与验证

• 方式 A 使用内置 Zookeeper（快速上手）
  • 启动 Zookeeper（新终端）：/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
  • 启动 Kafka（新终端）：/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
• 方式 B 使用系统包安装的 Zookeeper（可选）
  • 安装：sudo apt-get install zookeeperd
  • 启动：sudo systemctl start zookeeper.service
  • 启动 Kafka：/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
• 基本验证
  • 创建主题：/opt/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
  • 查看主题：/opt/kafka/bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092
  • 生产消息：/opt/kafka/bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
  • 消费消息（另开终端）：/opt/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
• 常用检查
  • 查看端口监听：sudo netstat -ntlp | grep 9092
  • 查看服务状态（若配置了 systemd）：sudo systemctl status kafka

五 设置开机自启与注意事项

• 使用 systemd 管理（推荐）
  • 创建服务文件（示例）：
    • Zookeeper：sudo nano /etc/systemd/system/zookeeper.service

      [Unit]
      Description=Zookeeper Server
      After=network.target
      
      [Service]
      ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
      ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
      Restart=on-failure
      
      [Install]
      WantedBy=multi-user.target
      

    • Kafka：sudo nano /etc/systemd/system/kafka.service

      [Unit]
      Description=Kafka Server
      After=zookeeper.service network.target
      
      [Service]
      ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
      ExecStop=/opt/kafka/bin/kafka-server-stop.sh
      Restart=on-failure
      
      [Install]
      WantedBy=multi-user.target
      

  • 启用并启动：
    • sudo systemctl daemon-reload
    • sudo systemctl enable --now zookeeper
    • sudo systemctl enable --now kafka
• 防火墙与网络
  • 若需远程访问，开放端口 9092（以及 2181，如启用外部 Zookeeper）：sudo ufw allow 9092,2181/tcp 或按你的防火墙工具配置
• 生产建议
  • 使用 KRaft 模式 或部署 多 Broker 集群（每个节点 broker.id 唯一，副本因子 ≥ 3）
  • 持久化与目录权限：将 log.dirs 指向具备充足空间的专用目录，并设置正确的属主（如 kafka:kafka）
  • 安全加固：启用 SASL/SSL、限制监听地址、最小权限原则