Debian Zookeeper故障排查流程是什么

Debian 上 Zookeeper 故障排查流程

一快速判定与恢复

检查服务状态与端口
- 执行：sudo systemctl status zookeeper 查看是否 active（running）。
- 执行：sudo netstat -tulpen | grep 2181 确认 2181 端口监听正常。
查看服务日志
- 执行：sudo tail -n50 /var/log/zookeeper/zookeeper.out 或 journalctl -u zookeeper -xe 抓取最近错误与堆栈。
若服务未运行，先尝试启动并观察日志
- 执行：sudo systemctl start zookeeper，再次查看状态与日志定位启动失败原因。

二配置与依赖核查

配置文件 /etc/zookeeper/conf/zoo.cfg 关键项
- 核对：tickTime、initLimit、syncLimit、dataDir、clientPort=2181、server.X=host:2888:3888 是否完整且一致。
集群身份文件
- 核对每个节点的 myid 内容与 server.X 的 X 一一对应，且唯一。
Java 环境
- 执行：java -version，确认已安装且版本与 Zookeeper 兼容（常见为 OpenJDK 8）。
目录权限与磁盘
- 确认 dataDir（及可选的 dataLogDir）属主为运行 Zookeeper 的用户，且磁盘空间充足。
环境变量
- 确认 JAVA_HOME、ZOO_HOME 等指向正确路径。

三网络连通与防火墙

连通性测试
- 执行：ping <zk_ip>、telnet <zk_ip> 2181 或 nc -vz <zk_ip> 2181 验证可达与端口开放。
防火墙放行
- 使用 firewalld：sudo firewall-cmd --permanent --add-port=2181/tcp && sudo firewall-cmd --reload
- 使用 iptables：sudo iptables -I INPUT -p tcp --dport 2181 -j ACCEPT
SELinux（如启用）
- 临时：sudo setenforce 0；或按需调整策略以允许 Zookeeper 网络访问。
主机名与解析
- 确保 server.X 中主机名可解析（/etc/hosts 或 DNS 正确）。

四集群状态与健康检查

四字命令自检
- echo stat | nc localhost 2181（查看角色与连接）
- echo ruok | nc localhost 2181（返回 imok 表示进程存活）
- echo mntr | nc localhost 2181（关键指标：zk_avg_latency、zk_packets_received、zk_outstanding_requests 等）
脚本状态
- 执行：/usr/share/zookeeper/bin/zkServer.sh status（显示 leader/follower 状态）
客户端连通
- 使用 zkCli.sh 连接：/usr/share/zookeeper/bin/zkCli.sh -server <zk_ip>:2181，观察会话建立与 ls / 是否正常。

五日志与数据目录深度分析

系统输出与 GC 日志
- 重点查看 /var/log/zookeeper/zookeeper.out 与 GC 日志中的 OutOfMemoryError、启动异常栈。
事务日志与快照
- 事务日志目录由 dataLogDir 指定（未配置则与 dataDir 同目录下的 version-2），文件名形如 log.；快照为 snapshot.。
- 使用工具查看事务日志：java -cp "$ZOOKEEPER_HOME/lib/*:$ZOOKEEPER_HOME/zookeeper-*.jar" org.apache.zookeeper.server.LogFormatter <logfile>
日志滚动与保留
- 通过 log4j.properties 配置滚动策略；在 zoo.cfg 设置自动清理：
  - autopurge.snapRetainCount=3
  - autopurge.purgeInterval=1（单位：小时）
资源与性能
- 执行：top/htop、free -m、iostat -x 1 检查 CPU/内存/磁盘 I/O；高占用时结合配置与负载优化（如 JVM 堆、I/O 优化、连接数限制 maxClientCnxns）。

附常见错误对照表

最新问答