kafka配置Ubuntu系统要注意啥

Ubuntu 上配置 Kafka 的关键注意事项

一 基础环境与依赖

• 选择 64 位 Ubuntu（建议 20.04/22.04 LTS），最低资源建议 2 核 CPU / 4GB 内存 / 20GB 存储，生产环境按数据量扩容。
• 安装 Java 8 或更高版本（如 OpenJDK 11），执行 java -version 验证。
• 部署 ZooKeeper：可使用系统包 sudo apt install -y zookeeperd 快速启动，或手动下载解压并配置 zoo.cfg 的 dataDir 与 clientPort=2181。
• 下载并解压 Kafka 二进制包（如 3.6.x），规划好安装目录（如 /opt/kafka）。

二 核心配置要点

• 在 config/server.properties 中正确设置：
  • broker.id：集群内唯一（每台 broker 不同）。
  • listeners：明确协议与地址，例如 PLAINTEXT://:9092 或 PLAINTEXT://<本机IP>:9092，避免仅用主机名导致解析问题。
  • log.dirs：数据目录（如 /var/lib/kafka-logs），确保目录存在且权限正确。
  • zookeeper.connect：ZooKeeper 地址（如 localhost:2181 或 zk1:2181,zk2:2181,zk3:2181）。
• 集群部署时，逐台机器保持相同的 listeners 规范与一致的 zookeeper.connect，仅 broker.id 不同。
• 若使用 KRaft 模式（Kafka 3.0+ 推荐），需生成 Cluster ID 并按官方步骤完成初始化，再启动各节点。

三 网络与防火墙

• 放行端口：Kafka 默认 9092，ZooKeeper 2181；如使用 KRaft 元数据端口（常见 9093）也需放行。
• Ubuntu 使用 UFW 示例：sudo ufw allow 9092,2181,9093/tcp；云服务器需同步配置 安全组 规则。
• 避免端口冲突：用 sudo netstat -tulnp | grep -E '9092|2181|9093' 检查占用。
• 监听地址绑定：在 listeners 中使用明确的 IP 或 0.0.0.0，并确保云主机的内外网映射正确。

四 服务管理与自启动

• 建议使用 systemd 管理：创建 /etc/systemd/system/kafka.service，设置 After=zookeeper.service（ZooKeeper 模式）或相应依赖（KRaft 模式），User=kafka，ExecStart 指向 Kafka 启动脚本。
• 常用命令：sudo systemctl daemon-reload、sudo systemctl enable --now kafka、sudo systemctl status kafka。
• 目录与权限：数据目录（如 /var/lib/kafka-logs）与安装目录归属运行用户（如 kafka:kafka），避免因权限不足导致启动失败。

五 安全与性能优化

• 安全加固：按需启用 SASL/PLAINTEXT 或 SSL/TLS 监听器，配置认证与加密传输。
• JVM 与系统资源：设置堆内存（如 export KAFKA_HEAP_OPTS="-Xms4G -Xmx4G"，不超过物理内存的 50%），提升文件描述符限制（ulimit -n 65535），必要时调整内核参数（如 vm.swappiness、vm.dirty_background_ratio）。
• 磁盘与 I/O：优先 SSD，可配置多日志目录 log.dirs=/path1,/path2；文件系统建议 XFS/EXT4，挂载时可用 noatime 降低元数据写入。
• 关键参数：结合负载调优 num.network.threads、num.io.threads、batch.size、linger.ms、fetch.min.bytes、log.retention.hours、log.segment.bytes；合理规划 分区数 与 副本数 以兼顾吞吐与可用性。
• 监控与维护：开启 JMX 或接入 Prometheus/Grafana，定期巡检磁盘空间与日志保留策略。