kafka在centos上的故障排查技巧

Kafka 在 CentOS 上的故障排查技巧

一 快速定位流程

• 先看服务状态与单元日志：使用命令查看 systemctl status kafka 与 journalctl -xeu kafka，确认是否反复重启、启动超时或权限类错误。
• 前台启动抓异常：将服务临时改为前台运行（去掉 -daemon），或直接在终端执行启动脚本，观察标准输出/错误输出中的首条报错。
• 查 Broker 日志：优先看 server.log，常见关键词包括 Zookeeper connection failed、Log directory does not exist or is not writable、Address already in use。
• 校验依赖与连通：确认 Zookeeper 已启动且 server.properties 中的 zookeeper.connect 正确；用 netstat -tulpen | grep 9092 检查端口占用；必要时测试端口连通性（如 telnet）。
• 直连本机验证：用自带的 CLI 在本机执行 list/create/consume，排除客户端网络因素。
  以上步骤能覆盖大多数启动失败与不可用场景，并快速指向根因。

二 常见故障与修复要点

• 启动失败（Failed to start / 反复重启 / systemctl 报 start-limit）
  典型根因：ExecStart 路径错误、脚本不可执行、JVM 无法分配内存、配置错误导致进程立即退出。
  处理建议：

  • 检查 unit 的 ExecStart 是否指向正确的 kafka-server-start.sh；确认脚本具备可执行权限。
  • 前台启动观察首条异常；若见 “Cannot allocate memory”，适当降低 KAFKA_HEAP_OPTS（如 -Xmx2G -Xms2G）。
  • 修正 server.properties 中明显错误（如 log.dirs 不存在、权限不足、端口冲突），再重启。

• Zookeeper 连接或元数据超时
  典型根因：Zookeeper 未启动/连接串错误、网络不通、防火墙/安全组阻断。
  处理建议：

  • 确认 systemctl status zookeeper 正常；核对 zookeeper.connect=host:2181。
  • 测试 2181 端口连通性；排查 firewalld/iptables 策略。
  • 客户端报 TimeoutException: Topic … not present in metadata after 60000 ms 时，优先检查 Broker 是否真正在对应 9092 端口监听、网络是否可达、Zookeeper 是否健康。

• 监听地址与主机名解析导致不可用（含 LEADER_NOT_AVAILABLE）
  典型根因：listeners 与 advertised.listeners 配置不当，或 /etc/hosts 将主机名解析到 127.0.0.1，跨主机/外部客户端无法连接。
  处理建议：

  • 明确配置：例如 listeners=PLAINTEXT://0.0.0.0:9092，advertised.listeners=PLAINTEXT://<本机内网IP>:9092；确保客户端以此 IP 连接。
  • 修正 hosts：避免 127.0.0.1 行包含本机主机名；跨平台访问时，客户端需能解析 Broker 主机名或使用 IP。

• 端口冲突与资源限制
  典型根因：已有进程占用 9092，或系统资源（内存、文件句柄）不足。
  处理建议：

  • 用 netstat -tulpen | grep 9092 找到占用进程并释放/更换端口；必要时调整 server.properties 的 listeners 端口。
  • 检查 ulimit -n（文件句柄）与内存；Kafka 为内存/IO 密集型，资源不足会导致不稳定或启动失败。

三 监听与网络配置要点

• 在 server.properties 中同时正确设置：
  • listeners：Broker 实际监听地址（如 PLAINTEXT://0.0.0.0:9092）。
  • advertised.listeners：对外暴露给客户端/其他 Broker 的地址（如 PLAINTEXT://<内网IP>:9092）。
  • zookeeper.connect：指向可用 Zookeeper 集群地址。
• 多网卡/云环境务必使用可达的 IP 或 FQDN，并确保跨主机/跨网段可解析；客户端以此地址进行 bootstrap。
• 统一集群内所有 Broker 的 broker.id 唯一，且 advertised 地址可被外部解析。

四 性能与稳定性优化

• 硬件与 OS：优先使用 SSD、保证充足 网络带宽 与 CPU；减少跨机房/跨地域跳数。
• 内存与 GC：为 Broker 预留足够堆外内存，堆大小适度（如 4–8GB 视机器而定），结合 G1 GC 减少停顿。
• 关键参数：适度提升 num.partitions 提升并行度；开启 compression.type=snappy/lz4；调优 batch.size/linger.ms、socket.send/recv.buffer.bytes、replica.fetch.max.bytes 等以匹配业务与网络。
• 磁盘与文件系统：使用 XFS/EXT4，挂载选项建议 noatime；关注磁盘吞吐与容量，避免写满导致 ISR 收缩与延迟飙升。
• 监控与压测：建立 吞吐量/延迟/请求耗时/磁盘IO/网络 监控，定期压测寻找瓶颈并滚动优化。

五 最小可行自检清单

• 前置检查：
  • java -version 确认 JDK 8+；
  • systemctl status zookeeper 为 active；
  • netstat -tulpen | grep 9092 端口空闲；
  • /var/log/kafka/server.log 无 FATAL/ERROR。
• 本机连通：
  • 使用 CLI 创建/列出/生产/消费小 topic 验证端到端；
  • 从外部主机尝试连接 :9092 排除网络/防火墙问题。
• 常见修复动作：
  • 修正 log.dirs 路径与权限；
  • 明确 listeners/advertised.listeners；
  • 调整 KAFKA_HEAP_OPTS 避免 OOM；
  • 释放占用 9092 的进程或更换端口。