Kafka日志清理Linux上怎么设置
小樊
41
2025-11-23 10:46:02
Kafka日志清理在 Linux 上的设置
一 核心概念与清理策略
- 区分两类“日志”：
- Kafka 消息日志（数据目录）：由参数 log.dirs 指定，存放 topic 的分区数据段（segment），支持按时间/大小清理或按 key 压缩。
- Kafka 运行日志（server.log 等）：由 log4j/logback 输出，建议用 logrotate 做按日轮转与压缩。
- 消息日志清理策略（server.properties）：
- 策略选择：log.cleanup.policy=delete|compact（删除或压缩）。
- 时间保留：优先使用 log.retention.ms（也可用 minutes/hours，优先级 ms > minutes > hours），默认 168 小时（7 天）。
- 大小保留：log.retention.bytes（按分区总大小触发清理，默认 -1 不限制）。
- 段与检查：log.segment.bytes（默认 1GB）、log.retention.check.interval.ms（默认 300000 ms = 5 分钟）、log.segment.delete.delay.ms（默认 60000 ms = 1 分钟）。
- 压缩模式需开启清理线程：log.cleaner.enable=true。
二 消息日志清理配置步骤
- 编辑配置文件 config/server.properties：
- 设置数据目录：例如 log.dirs=/var/lib/kafka/data。
- 选择策略与阈值（示例为保留最近 7 天 或 1GB）：
- log.cleanup.policy=delete
- log.retention.ms=604800000
- log.retention.bytes=1073741824
- log.segment.bytes=1073741824
- log.retention.check.interval.ms=300000
- log.segment.delete.delay.ms=60000
- log.cleaner.enable=true（仅当使用 compact 时需要）
- 按 topic 单独调整（可选）：
- 查看：bin/kafka-configs.sh --bootstrap-server broker:9092 --describe --entity-type topics --entity-name
- 调整保留时间：bin/kafka-configs.sh --bootstrap-server broker:9092 --alter --entity-type topics --entity-name --add-config retention.ms=86400000
- 调整清理策略：bin/kafka-configs.sh --bootstrap-server broker:9092 --alter --entity-type topics --entity-name --add-config cleanup.policy=compact
- 使配置生效与验证：
- 重启 broker 或等待 log.retention.check.interval.ms 周期执行。
- 观察日志目录段文件是否按策略被删除/压缩，或通过 JMX/监控查看磁盘与保留指标。
三 运行日志轮转与清理（logrotate）
- 创建配置 /etc/logrotate.d/kafka：
- /var/log/kafka/*.log {
daily
missingok
rotate 7
compress
delaycompress
notifempty
create 0644 kafka kafka
sharedscripts
postrotate
# 若 Kafka 使用 systemd
systemctl reload kafka.service >/dev/null 2>&1 || true
# 若 Kafka 使用传统脚本（示例 PID 文件）
# [ -f /var/run/kafka.pid ] && kill -USR1 $(cat /var/run/kafka.pid) || true
endscript
}
- 说明：
- 按日轮转、保留 7 天、压缩旧日志；确保运行日志目录与 log4j.properties 中配置的 log4j.appender.kafkaAppender.File 一致。
- 使用 systemd 时推荐用 reload 触发重新打开日志文件；使用脚本方式可用 kill -USR1 触发（需 Kafka 支持）。
四 关键注意事项与常见误区
- log.retention.bytes 按分区计算：只有当“超出阈值的部分 ≥ 一个日志段大小（log.segment.bytes）”时才会删除最老的段；否则即使总量超限也不会触发删除。
- 删除是“按段”进行：清理线程按 segment 评估是否过期，超过 log.retention.ms 或总大小超限的段会被标记删除，并在 log.segment.delete.delay.ms 后由后台任务真正移除。
- 不要把 Kafka 消息日志与运行日志混为一谈：前者用 server.properties 策略清理，后者用 logrotate 管理；混用会导致清理失效或风险。
- 压缩策略适用场景：log.cleanup.policy=compact 适合按 key 保留最新版本（如用户资料），不适合普通事件流；启用需 log.cleaner.enable=true。
