Zookeeper在Ubuntu上的日志管理

在Ubuntu上管理Zookeeper的日志涉及多个方面，包括日志的查看、配置、轮转和清理等。以下是详细的步骤和技巧：

查看Zookeeper日志

• 命令行查看：

  • 使用 zkserver get-logs 命令可以查看Zookeeper的日志。
  • 使用 cat 命令查看 /var/log/zookeeper/zookeeper.out 日志文件。例如：

    cat /var/log/zookeeper/zookeeper.out
    

• 使用LogFormatter工具：

  • Zookeeper的事务日志是二进制数据，不能直接查看。需要使用 LogFormatter 工具进行解析。
  • 下载所需的jar包（如 slf4j-api-1.7.2.jar 和 zookeeper-3.4.6.jar），然后使用以下命令查看事务日志：

    java -classpath .:slf4j-api-1.7.2.jar:zookeeper-3.4.6.jar org.apache.zookeeper.server.LogFormatter /var/lib/zookeeper/version-2/log.*
    

配置Zookeeper日志

• 修改 log4j.properties 文件：

  • 该文件通常位于Zookeeper的 conf 目录下。
  • 可以修改 zookeeper.root.logger 配置项来指定日志级别和输出目标。例如：

    zookeeper.root.logger=INFO, ROLLINGFILE
    zookeeper.log.dir=/var/log/zookeeper
    zookeeper.log.file=zookeeper.log
    zookeeper.log.threshold=DEBUG
    zookeeper.tracelog.dir=/var/log/zookeeper
    zookeeper.tracelog.file=zookeeper_trace.log
    

• 修改 zoo.cfg 文件：

  • 在 zoo.cfg 文件中配置 dataLogDir 来指定事务日志的输出目录。例如：

    dataLogDir=/var/log/zookeeper
    

日志轮转

• 使用Logrotate工具：
  • Logrotate是一个Linux系统日志管理工具，可以对Zookeeper的日志文件进行轮转。
  • 通过配置Logrotate的配置文件（通常位于 /etc/logrotate.d/ 目录下），可以实现日志文件的自动切割、压缩和保存。例如：

    /var/log/zookeeper/zookeeper.log {
        daily
        rotate 7
        missingok
        notifempty
        compress
        delaycompress
        sharedscripts
    }
    

日志清理

• 自动清理功能：

  • 从Zookeeper 3.4.0版本开始，可以通过配置 zoo.cfg 下的 autopurge.snapRetainCount 和 autopurge.purgeInterval 参数实现日志文件的定时清理。例如：

    autopurge.purgeInterval=24
    autopurge.snapRetainCount=3
    

• 使用 zkCleanup.sh 脚本：

  • Zookeeper自带的 zkCleanup.sh 脚本可以用于清理事务日志和快照文件。例如：

    ./bin/zkCleanup.sh -n 3 -d 24
    

注意事项

• 权限设置：确保日志文件的权限设置正确，避免未经授权的访问。可以使用 chmod 和 chown 命令设置日志文件的权限。
• 日志级别配置：合理设置日志级别，如 INFO、WARN、DEBUG 等，以减少不必要的性能开销，同时确保能够记录足够的信息用于故障排查。

通过上述方法，可以有效地管理Zookeeper在Ubuntu上的日志，确保系统的稳定运行和数据的可靠性。