Kafka日志清理Linux中怎么设置

Kafka日志清理在 Linux 的设置指南

一 核心原则与目录区分

• 先区分两类日志：
  1. 数据日志（topic 消息，存储在 log.dirs 指定目录）；
  2. 操作日志（Kafka 进程日志，如 server.log，通常在 $KAFKA_HOME/logs）。
• 数据日志建议由 Kafka 自身的保留与清理机制管理（按时间/大小/压缩），不建议用 Linux 定时任务粗暴删除，否则可能破坏索引一致性、影响消费者位移与压缩过程。操作日志可用 logrotate 或系统 cron 做滚动与清理。

二 数据日志的推荐做法（Broker 配置）

• 关键参数与作用（均为 broker 级，优先以 ms 为准）：
  • 保留策略：
    • cleanup.policy=delete（默认）：按时间/大小删除旧分段；
    • cleanup.policy=compact：按键保留最新值（适合状态/配置类主题）；
    • 也可组合：delete,compact。
  • 时间保留：
    • log.retention.ms（优先级最高）、log.retention.minutes、log.retention.hours；默认 168 小时（7 天）。
  • 大小保留：
    • log.retention.bytes（默认 -1，不限制）；与按时间任一条件满足即触发清理。
  • 段与检查：
    • log.segment.bytes（默认 1GB，段切分粒度）；
    • log.retention.check.interval.ms（默认 5 分钟，后台检查间隔）。
  • 压缩相关（启用 compact 时）：
    • log.cleaner.enable=true（启用清理/压缩线程）；
    • log.cleaner.threads（清理线程数，默认 1，可按 CPU/IO 适当调大）；
    • log.cleaner.min.cleanable.ratio（默认 0.5，可调小以更频繁压缩）；
    • log.cleaner.delete.retention.ms（墓碑保留，默认 86400000 ms=24 小时）；
    • log.cleaner.min.compaction.lag.ms（最小压缩滞后，默认 0）。
• 配置示例（server.properties）：
  • 常规消息队列（按时间删除）：

    log.cleanup.policy=delete
    log.retention.ms=604800000       # 7 天
    log.retention.bytes=1073741824   # 1GB
    log.segment.bytes=1073741824     # 1GB
    log.retention.check.interval.ms=300000
    

  • 状态/配置主题（压缩为主）：

    log.cleanup.policy=compact
    log.cleaner.enable=true
    log.cleaner.threads=2
    log.cleaner.min.cleanable.ratio=0.3
    log.cleaner.delete.retention.ms=86400000
    log.cleaner.min.compaction.lag.ms=3600000
    

• 按 Topic 覆盖（可选）：

  bin/kafka-topics.sh --alter --topic your-topic --config cleanup.policy=compact
  bin/kafka-topics.sh --alter --topic your-topic --config retention.ms=172800000
  

• 注意要点：
  • 仅当 cleanup.policy 包含 delete 时，log.retention.ms/bytes 才生效；纯 compact 忽略时间与大小删除。
  • 压缩是后台异步过程，优先保障 CPU/IO 与 磁盘空间，并通过监控 log-cleaner-rate、bytes-compacted-rate 等判断是否需要调优线程与阈值。

三 操作日志的 Linux 侧清理（server.log 等）

• 使用 logrotate（推荐，安全可控）：
  1. 新建配置 /etc/logrotate.d/kafka：

     /opt/kafka/logs/*.log {
         daily
         rotate 7
         missingok
         compress
         delaycompress
         copytruncate
         notifempty
         create 0644 kafka kafka
     }
     

     • 说明：copytruncate 适用于 Kafka 持续写同一个文件句柄的场景；若使用进程信号滚动，可改为 postrotate 发送信号。
  2. 测试与生效：

     logrotate -d /etc/logrotate.d/kafka   # 语法检查
     logrotate -f /etc/logrotate.d/kafka   # 强制执行一次
     

• 或使用 cron + find（简单直接）：
  1. 清理脚本（示例：删除 7 天前 的 .log.*）：

     #!/bin/bash
     find /opt/kafka/logs -mtime +7 -name "*.log.*" -exec rm -f {} \;
     

  2. 加入定时任务（每天 0:30 执行）：

     30 0 * * * /bin/bash /opt/kafka/bin/clear-kafka-log.sh
     

• 安全建议：
  • 避免对 数据日志目录（log.dirs） 使用 find/rm 直接删除；
  • 不要将 log.dirs 指向 /tmp；部分系统的 systemd-tmpfiles 或 tmpwatch 会定期清理 /tmp，可能导致 __consumer_offsets 等异常（IO/文件找不到错误）。

四 常见问题与排查

• 不要将 log.dirs 放在 /tmp，否则可能被系统清理机制删除，引发 Failed to clean up log 等错误；应改为持久路径（如 /opt/kafka/kafka-logs）。
• 使用 Linux 删除脚本时务必限定在 操作日志目录，避免误删 数据日志；数据日志清理交由 Kafka 保留/压缩 机制完成。
• 压缩滞后或资源紧张：适当增加 log.cleaner.threads，并关注 log-cleaner-rate、bytes-compacted-rate 等指标；根据负载调整 min.cleanable.ratio 与 delete.retention.ms。