Kafka配置Ubuntu时需要注意什么

在 Ubuntu 上配置 Kafka 的关键注意事项

一 基础环境与版本

• 安装并验证 Java：建议 OpenJDK 8 或 11，执行 java -version 确认版本；Kafka 是基于 JVM 的服务，版本不匹配会导致启动或运行异常。
• 资源基线：至少 4GB 内存（更稳妥为 8GB+），磁盘建议 SSD 并预留充足空间（日志段与保留策略会持续增长）。
• 组件版本：选择与 Kafka 版本匹配的 Zookeeper（常见为 3.4+），并保持 Kafka 发行包与脚本版本一致，避免兼容性问题。

二 配置要点与网络

• 核心配置（server.properties）：
  • broker.id：每个 Broker 必须唯一（集群内不可重复）。
  • listeners 与 advertised.listeners：明确监听地址与对外可达地址，避免内外网访问错配。
  • log.dirs：指定有写权限且磁盘充足的目录，避免使用易清理的临时目录。
  • zookeeper.connect：指向 Zookeeper 地址（单机为 localhost:2181，集群为逗号分隔的多个地址）。
• 网络与端口：开放 9092（Kafka）与 2181（Zookeeper）；云服务器需配置安全组/防火墙放行；本机或容器环境注意监听地址绑定与端口映射。
• 系统权限与目录：运行 Kafka 的用户应对安装目录与 log.dirs 具备读写权限；避免使用 root 直接运行，建议创建专用系统用户。

三 运行与自启

• 启停顺序：先启动 Zookeeper，再启动 Kafka；关闭时按相反顺序执行，避免数据不一致或异常。
• 快速验证：创建测试 Topic（如 test，分区 1、副本 1），用控制台生产者/消费者验证收发是否正常。
• systemd 服务：为 Zookeeper 与 Kafka 分别创建单元文件，设置 After=、Requires=、User=、ExecStart/ExecStop、Restart=，执行 systemctl daemon-reload && systemctl enable --now zookeeper kafka 完成开机自启与统一管理。

四 性能与安全

• JVM 与内存：通过 KAFKA_HEAP_OPTS 或脚本内设置堆大小（如 -Xms4G -Xmx4G），避免过大挤占系统资源或过小导致频繁 GC；根据负载与物理内存调优。
• 关键 Broker 参数：结合业务可靠性与吞吐设置 replication.factor（常用 3）、min.insync.replicas（建议 2）、unclean.leader.election.enable=false，降低数据丢失与不可用窗口。
• 磁盘与保留：合理设置 log.retention.hours、log.segment.bytes，并监控磁盘使用，防止因日志膨胀导致磁盘被占满。
• 生产者/消费者：按场景调优批量与压缩（如 batch.size、linger.ms、compression.type），提升吞吐与降低网络成本。
• 安全加固：在公网或跨机房部署时启用 SASL/SSL 认证与加密，限制未授权访问。

五 常见问题排查

• 端口冲突：使用 lsof -i:9092 或 ss -lntp | grep 9092 定位占用进程并释放端口。
• 目录权限或路径错误：log.dirs 无写权限或路径不存在会导致启动失败，修正权限或更换目录。
• 内存不足：调整 KAFKA_HEAP_OPTS，并确保系统留有足够可用内存与 swap。
• 配置错误：检查 server.properties 中 listeners、advertised.listeners、zookeeper.connect 等关键项是否拼写、格式正确。
• 版本兼容：老版本脚本在 JDK > 8 上可能出现启动问题，升级脚本或选择与脚本匹配的 JDK 版本。