Zookeeper日志清理策略是什么

Zookeeper日志清理策略

核心机制

• 清理对象包含两类数据：一是用于崩溃恢复的快照文件 snapshot（位于dataDir/version-2），二是记录写事务的事务日志 txn log（位于dataLogDir/version-2；若未配置 dataLogDir，会与快照混放在 dataDir）。从3.4.0起，Zookeeper提供内置自动清理，通过保留一定数量的快照并删除过期的事务日志来防止磁盘被占满。清理通常按“保留最新的 N 个快照，删除这些快照之前的所有事务日志”的策略执行，由后台定时任务触发。

自动清理配置

• 在 zoo.cfg 中开启并配置以下参数即可实现定时自动清理：
  • autopurge.snapRetainCount：保留的最新快照数量，默认值为3。
  • autopurge.purgeInterval：清理执行间隔，单位为小时，默认值为0（表示不开启）。
• 示例（保留20个快照，每48小时清理一次）：

  tickTime=2000
  initLimit=10
  syncLimit=5
  dataDir=/data/zookeeper/data
  dataLogDir=/data/zookeeper/logs
  clientPort=2181
  autopurge.snapRetainCount=20
  autopurge.purgeInterval=48
  server.1=...
  

  上述配置表示按“保留最新 N 个快照”的策略，周期性清理过期事务日志与旧快照。

手动清理方式

• 使用内置工具按需清理（适合临时维护或自动清理未启用/异常的场景）：
  • 使用脚本 bin/zkCleanup.sh：例如保留3个快照并执行一次清理

    ./bin/zkCleanup.sh -n 3
    

  • 直接调用工具类 org.apache.zookeeper.server.PurgeTxnLog：例如保留3个快照

    java -cp zookeeper.jar:lib/slf4j-api-*.jar:lib/log4j-*.jar:conf \
      org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n 3
    

  • 建议将清理任务纳入crontab按计划执行，避免磁盘被事务日志快速增长占满。

日志轮转与运维建议

• 区分两类“日志”：上文所述的“事务日志/快照”与运行日志（如 zookeeper.out 或基于 log4j 的日志）。运行日志建议通过 log4j.properties 配置按天/按大小轮转（如 DailyRollingFileAppender/RollingFileAppender），并设置合理的保留份数，避免与数据目录混放。
• 强烈建议显式配置dataLogDir，将事务日志与快照分离，便于独立保留策略与性能调优。
• 清理操作以“保留若干最新快照并清理其之前的事务日志”为主，避免误删仍被需要的日志；清理频率与保留数量应结合**恢复点目标（RPO）**与磁盘容量评估设定。