Linux Kafka配置中日志管理

Linux Kafka日志管理实战指南

一 核心概念与目录

• 区分两类日志：
  • Kafka消息日志（Log segments）：主题分区的数据文件，路径由 server.properties 的 log.dirs 指定（可配置多个目录，建议分布在不同物理盘以提升吞吐与容错）。
  • 服务运行日志（server.log 等）：由 log4j 输出，默认在 $KAFKA_HOME/logs，可通过 log4j.properties 的 kafka.logs.dir 调整。
• 建议目录规划：
  • 消息日志：如 /var/lib/kafka/data（多盘用逗号分隔）
  • 运行日志：如 /var/log/kafka
  • 权限与安全：确保 Kafka 运行用户对目录具备读写权限。

二 消息日志保留与清理策略

• 清理策略（Broker 级或 Topic 级）：
  • delete：按时间或大小删除旧分段；Topic 级参数 cleanup.policy 可覆盖 Broker 级 log.cleanup.policy。
  • compact：按键保留同一 key 的最新版本，适合变更日志/状态存储；可设置为 delete,compact 同时启用两种策略。
• 关键参数（server.properties）：
  • 保留时间：log.retention.ms > log.retention.minutes > log.retention.hours，默认 168 小时（7 天）。
  • 保留大小：log.retention.bytes（默认 -1，不限制）。
  • 分段大小：log.segment.bytes（默认 1GB），影响滚动与清理粒度。
  • 检查间隔：log.retention.check.interval.ms（默认 300000 ms = 5 分钟）。
  • 删除延迟：file.delete.delay.ms（默认 60000 ms = 1 分钟，被标记删除的分段延迟回收）。
  • 压缩开关：log.cleaner.enable=true（启用日志压缩器）。
• 典型场景建议：
  • 常规业务：保留 7 天 或按容量限制，使用 delete。
  • 变更数据/状态存储：使用 compact，必要时配合 delete 限制总占用。

三 运行日志轮转与系统日志

• 使用 logrotate 管理 server.log 等运行日志（示例路径 /var/log/kafka/*.log）：
  • 配置要点：按天轮转、保留 7 天、压缩、延迟压缩、空文件不轮转、创建新文件权限 644、轮转后通知进程重开日志句柄。
  • 示例（/etc/logrotate.d/kafka）：

    /var/log/kafka/*.log {
        daily
        missingok
        rotate 7
        compress
        delaycompress
        notifempty
        create 644 kafka kafka
        sharedscripts
        postrotate
            # 若使用 systemd，推荐用 systemctl reload kafka.service
            # systemctl reload kafka.service >/dev/null 2>&1 || true
            # 如以 PID 文件方式运行，可按需 kill -USR1 触发重开
            [ -f /var/run/kafka.pid ] && kill -USR1 $(cat /var/run/kafka.pid) || true
        endscript
    }
    

  • 说明：不同发行版路径与用户可能不同，请按实际环境调整；以 systemd 管理的服务优先使用 systemctl reload 触发日志重新打开。

四 常用操作命令与验证

• 查看/调整 Topic 级保留（示例将 topic 保留设为 1 天 = 86400000 ms）：
  • 设置：

    bin/kafka-configs.sh --bootstrap-server <broker:9092> \
      --alter --entity-type topics --entity-name <topic> \
      --add-config retention.ms=86400000
    

  • 验证：

    bin/kafka-configs.sh --bootstrap-server <broker:9092> \
      --describe --entity-type topics --entity-name <topic>
    

• 立即触发删除（按当前策略清理过期分段）：

  bin/kafka-topics.sh --bootstrap-server <broker:9092> \
    --alter --topic <topic> --config cleanup.policy=delete
  

• 观察与排查：
  • 实时查看运行日志：tail -f /var/log/kafka/server.log
  • 检查磁盘：df -h、du -sh /var/lib/kafka/data
  • 监控建议：开启 JMX，结合 JConsole/VisualVM 或 Prometheus+Grafana 做容量与延迟告警。

五 生产环境推荐配置示例

• server.properties（消息日志与清理）

  # 多盘分布示例：/data1,/data2
  log.dirs=/data1/kafka,/data2/kafka
  
  # 保留策略：7天或1GB（按先到者）
  log.retention.hours=168
  log.retention.bytes=1073741824
  log.retention.check.interval.ms=300000
  
  # 分段与滚动
  log.segment.bytes=1073741824
  log.roll.hours=168
  
  # 清理策略：常规 delete；如需压缩主题再设为 delete,compact
  log.cleanup.policy=delete
  log.cleaner.enable=true
  file.delete.delay.ms=60000
  

• log4j.properties（运行日志）

  kafka.logs.dir=/var/log/kafka
  
  log4j.rootLogger=INFO, default
  log4j.appender.default=org.apache.log4j.RollingFileAppender
  log4j.appender.default.File=${kafka.logs.dir}/server.log
  log4j.appender.default.MaxFileSize=100MB
  log4j.appender.default.MaxBackupIndex=10
  log4j.appender.default.layout=org.apache.log4j.PatternLayout
  log4j.appender.default.layout.ConversionPattern=[%d] %p %m (%c)%n
  

• 提示：
  • 若修改了 log4j.properties 的日志目录，确保启动脚本或 systemd 环境也使用一致的 LOG_DIR，否则可能仍写到默认路径。