Zookeeper在Linux下的日志如何管理

Zookeeper 在 Linux 下的日志管理

一日志类型与存放位置

运行日志（Log4j）：由 log4j 输出，常见为 zookeeper.out 或按配置的滚动日志文件。默认路径受启动脚本影响，常见为 $ZOOKEEPER_HOME/bin/zookeeper.out，也可通过环境变量或配置文件自定义到如 /var/log/zookeeper 或 /apps/logs/zookeeper。
事务日志：记录所有更新操作，用于崩溃恢复，建议与快照分离，配置项为 zoo.cfg 的 dataLogDir。
快照日志：内存数据树的定期序列化，位于 zoo.cfg 的 dataDir。
目录习惯：常见将运行日志放到 /var/log/zookeeper，数据与事务日志放到 /var/lib/zookeeper（实际以你的安装与配置为准）。

二配置输出路径与滚动策略

指定日志目录与 Appender：在 $ZOOKEEPER_HOME/bin/zkEnv.sh 中设置
- ZOO_LOG_DIR：日志输出目录（如 /var/log/zookeeper）
- ZOO_LOG4J_PROP：日志类别与 Appender（如 INFO,ROLLINGFILE 或 INFO,DailyRollingFile）
配置 log4j：在 $ZOOKEEPER_HOME/conf/log4j.properties 中
- 设置 zookeeper.root.logger 与 ZOO_LOG4J_PROP 一致
- 指定 zookeeper.log.file（如 zookeeper.log）
- 选择滚动策略：
  - 按大小滚动：使用 RollingFileAppender（配合 MaxFileSize、MaxBackupIndex）
  - 按天滚动：使用 DailyRollingFileAppender（按日期切分）
标准输出重定向：在 zkServer.sh 中将 _ZOO_DAEMON_OUT 指向 $ZOO_LOG_DIR/zookeeper.out，避免日志散落在启动目录。

三日志轮转与系统级管理

应用内轮转：通过 log4j.properties 的 RollingFileAppender/DailyRollingFileAppender 完成按大小或按天的日志切分。
系统级轮转：使用 logrotate 管理运行日志（如 zookeeper.out 或 zookeeper.log）
- 示例配置 /etc/logrotate.d/zookeeper：
  - /var/log/zookeeper/*.log { daily; missingok; rotate 7; compress; delaycompress; notifempty; create 0644 zookeeper zookeeper }
- 注意：事务日志与快照目录（dataLogDir/dataDir）不建议用 logrotate 切割，避免破坏一致性；其保留策略由 Zookeeper 自清理完成（见下节）。

四自动清理与手动维护

自动清理（推荐）：在 zoo.cfg 中开启
- autopurge.snapRetainCount：保留最近 N 个快照与事务日志集合（默认 3）
- autopurge.purgeInterval：清理间隔，单位小时（默认 0 表示关闭，建议设置为 1 或更长）
手动清理：如未开启自动清理，可用官方脚本定期清理
- 示例：bin/zkCleanup.sh -n 3（保留最近 3 个快照/事务日志集合）
风险提示：不要手动删除正在写入的事务日志或最新快照，清理前确认无写入/同步进程。

五查看分析与集中化

本地查看：
- 实时查看：tail -f /var/log/zookeeper/zookeeper.out 或对应的滚动日志文件
- 历史检索：结合 grep/sed/awk 对日志进行分析
远程与集中：
- 通过 JMX 监控运行信息与日志相关指标
- 将日志发送到 Syslog/Logstash，接入 ELK（Elasticsearch, Logstash, Kibana）进行检索、可视化与告警

最新问答