Kafka在Linux如何进行日志配置

Kafka在Linux的日志配置

一 概念与目录厘清

• Kafka日志（业务数据）：指Kafka主题消息在磁盘上的存储，由 server.properties 中的 log.dirs 指定，例如 /var/log/kafka 或 /data/kafka/logs。这类日志由Kafka自身的日志保留与清理策略管理。
• 服务日志（运行日志）：指Kafka进程（JVM）输出的日志，如 server.log、state-change.log、request.log 等，由 config/log4j.properties 控制输出路径与滚动策略。
• 二者位置与作用不同，配置项也不同，需分别设置。

二 配置步骤

• 配置业务数据日志目录（server.properties）

  • 打开 $KAFKA_HOME/config/server.properties，设置数据目录：
    • log.dirs=/var/log/kafka（示例）。
  • 按需调整保留策略（示例）：
    • log.retention.hours=168（保留7天）
    • log.retention.bytes=1073741824（保留至1GB）
    • log.segment.bytes=1048576（段大小1MB）
    • log.roll.hours=1（滚动间隔1小时）
  • 说明：上述为常用保留与滚动参数，可按容量与合规要求微调。

• 配置服务运行日志（log4j.properties）

  • 打开 $KAFKA_HOME/config/log4j.properties，修改日志根目录与滚动策略：
    • 设置目录：将 kafka.logs.dir 改为目标路径（如 /data/kafka/logs）。
    • 典型滚动Appender示例：
      • log4j.appender.kafkaAppender=org.apache.log4j.RollingFileAppender
      • log4j.appender.kafkaAppender.File=${kafka.logs.dir}/server.log
      • log4j.appender.kafkaAppender.MaxFileSize=100MB
      • log4j.appender.kafkaAppender.MaxBackupIndex=10
      • log4j.appender.kafkaAppender.layout=org.apache.log4j.PatternLayout
      • log4j.appender.kafkaAppender.layout.ConversionPattern=[%d] %p %m (%c)%n
  • 部分发行版/脚本需要显式导出日志目录，确保 $KAFKA_HOME/bin/kafka-run-class.sh 中有：
    • LOG_DIR=“/data/kafka/logs”（与 log4j 中保持一致）。

三 系统级日志轮转与权限

• 使用 logrotate 管理服务日志（对 server.log 等），创建 /etc/logrotate.d/kafka：
  • 示例：
    • /var/log/kafka/*.log {
      • daily
      • missingok
      • rotate 7
      • compress
      • delaycompress
      • notifempty
      • create 644 kafka kafka
      • sharedscripts
      • postrotate
        • [ ! -f /var/run/kafka.pid ] || kill -USR1 cat /var/run/kafka.pid
      • endscript
    • }
  • 要点：
    • 业务数据日志（log.dirs 下）由Kafka自身策略管理，通常不建议用 logrotate 直接切割，以免与Kafka的段与保留策略冲突。
    • 确保目录属主与权限正确（如 kafka:kafka），并确认PID文件路径与进程实际一致。

四 启动与验证

• 启动方式（前台/后台）：
  • 前台：bin/kafka-server-start.sh config/server.properties
  • 后台：bin/kafka-server-start.sh -daemon config/server.properties
• 验证要点：
  • 检查服务日志是否在新目录输出：如 tail -f /data/kafka/logs/server.log。
  • 检查数据目录是否生效：查看 server.properties 中 log.dirs 指向的路径是否已生成分区目录与日志段文件。