CentOS Kafka 故障排查方法

CentOS 上 Kafka 故障排查手册

一 快速定位流程

• 查看 systemd 状态与日志：执行systemctl status kafka -l，若失败，优先看journalctl -xeu kafka获取启动失败原因。
• 前台启动看实时报错：进入安装目录执行bin/kafka-server-start.sh config/server.properties，能直接看到如Java 内存分配失败、配置错误等关键信息。
• 核对前置依赖：确认Zookeeper已启动且可连（单机或集群），Kafka 配置zookeeper.connect正确；检查JDK 版本≥8且JAVA_HOME设置无误。
• 检查关键配置：broker.id 唯一、log.dirs 目录存在且可写、listeners/advertised.listeners对外可达。
• 检查端口与连通：默认监听9092，用netstat -tulpen | grep 9092或ss -lntp | grep 9092排查占用；必要时改用未占用端口。
• 检查系统资源：磁盘空间、内存、文件句柄限制（nofile/nproc）。
• 查看 Kafka 服务日志：默认在logs/server.log或安装目录的log.dirs下，优先检索ERROR/FATAL关键字。

二 常见故障与修复对照表

三 关键配置与网络连通性检查

• 建议的 server.properties 关键项（示例）：
  • broker.id：集群内唯一整数
  • listeners：如PLAINTEXT://0.0.0.0:9092
  • advertised.listeners：如PLAINTEXT://<服务器IP>:9092（客户端实际连这个地址）
  • zookeeper.connect：如localhost:2181或 ZK 集群地址
  • log.dirs：如**/var/lib/kafka/data**（确保目录存在且 kafka 用户可写）
• 连通性自检（在客户端或另一台机器）：
  • telnet <broker_ip> 9092 或 nc -vz <broker_ip> 9092
  • 若不通：检查firewalld/iptables、安全组、以及 listeners/advertised.listeners 是否对外可达

四 系统资源与性能瓶颈排查

• 资源与限制：
  • 内存/磁盘：free -m、df -h；磁盘满会导致启动/写入失败。
  • 句柄与进程：ulimit -a；在**/etc/security/limits.conf**设置* soft/hard nofile 65536、nproc 65536，重启会话生效。
• 常见性能瓶颈与优化方向：
  • 硬件：CPU 核数、内存容量、磁盘 I/O（优先 SSD）、网络带宽。
  • Broker 参数：num.partitions（分区适度，避免过度分区）、compression.type（压缩节省带宽）、batch.size/linger.ms（提升吞吐）、socket.send/recv.buffer.bytes（网络缓冲）。
  • JVM 与 OS：合理设置KAFKA_HEAP_OPTS（如 -Xms/-Xmx 相等）、选择合适的 GC；必要时优化 TCP 参数与内核 I/O 调度。

五 最小复现与验证步骤

• 本地连通验证：
  • 创建测试主题：bin/kafka-topics.sh --create --topic test --bootstrap-server :9092 --partitions 1 --replication-factor 1
  • 生产消息：bin/kafka-console-producer.sh --topic test --bootstrap-server :9092
  • 消费消息：bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server :9092
• 若生产/消费报LEADER_NOT_AVAILABLE，优先核对advertised.listeners=PLAINTEXT://:9092与客户端用 IP 连接；必要时在客户端所在机器的 hosts 中补充 Broker 主机名解析。