Linux Kafka日志管理策略
一 核心概念与目录结构
- 在 Kafka 中，“日志”既指运行日志（如 server.log），也指消息数据日志（Topic/Partition 的 .log 段）。消息数据日志位于 Broker 配置的 log.dirs 目录，按 Topic-Partition 组织，包含顺序写入的 .log 文件及 .index / .timeindex 索引文件，按段（Segment）管理；运行日志由 log4j/log4j2 输出，常用滚动策略写入 logs/ 目录。理解两类日志的差异，是制定管理策略的前提。
二 消息数据日志的保留与清理策略
- 清理策略类型
- 删除策略（delete）：按时间或大小清理旧段，适合日志/指标等不可变流数据。
- 压缩策略（compact）：按 Key 保留最新值，适合状态/配置类键值数据。
- 混合策略（delete,compact）：先压缩再按时间删除，兼顾回溯与容量。
- 关键参数与默认值
- 保留时间：优先使用 log.retention.ms（默认 168 小时/7 天），也可用 minutes/hours。
- 保留大小：log.retention.bytes（默认 -1，不限制，按分区上限控制）。
- 检查间隔：log.retention.check.interval.ms=300000（5 分钟）。
- 段大小：log.segment.bytes=1073741824（1GB，影响段滚动与清理粒度）。
- 删除延迟：log.segment.delete.delay.ms=60000（标记删除到真正删除的延迟）。
- 压缩开关：log.cleaner.enable=true（Broker 端启用清理线程）。
- 压缩策略：log.cleanup.policy=delete|compact|delete,compact（Topic 级可覆盖）。
- 压缩线程与内存：log.cleaner.threads=1（可按 CPU/负载增至 2–4），log.cleaner.dedupe.buffer.size=128MB。
- 压缩触发阈值：log.cleaner.min.cleanable.ratio=0.5（可调低提前触发）。
- 压缩滞后：log.cleaner.min.compaction.lag.ms=0、log.cleaner.max.compaction.lag.ms=Long.MAX_VALUE（控制消息多久可被压缩）。
- 墓碑保留：log.cleaner.delete.retention.ms=86400000（含墓碑消息的保留时间）。
- 典型配置示例（Topic 级）
- 7 天删除：
- /opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type topics --entity-name your_topic --add-config retention.ms=604800000
- 启用压缩（键值数据）：
- /opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter --entity-type topics --entity-name your_topic --add-config cleanup.policy=compact,delete,min.cleanable.dirty.ratio=0.3
- 验证：
- /opt/kafka/bin/kafka-configs.sh --describe --entity-type topics --entity-name your_topic
- 行为要点
- 清理以“段”为单位；删除是异步的，先重命名为 .deleted，延迟 log.segment.delete.delay.ms 后回收磁盘。
- 压缩适合有 Key 的数据；无 Key 消息不会被压缩优化。压缩会占用 CPU/IO，需结合负载评估线程数与滞后阈值。
三 运行日志的轮转与归档（log4j/logrotate）
- 运行日志（server.log、controller.log 等）建议使用 logrotate 做按日轮转、压缩与保留，避免单文件过大与磁盘占满。
- 示例配置（/etc/logrotate.d/kafka）：
- /var/log/kafka/*.log {
daily
missingok
rotate 7
compress
delaycompress
notifempty
create 644 root root
sharedscripts
postrotate
[ ! -f /var/run/kafka.pid ] || kill -USR1
cat /var/run/kafka.pid
endscript
}
- 说明
- 通过 kill -USR1 通知 Kafka 重新打开日志文件（需 Kafka 启用了基于 USR1 的 reopen 机制，常见 log4j 配置支持）。
- 结合 JMX/Prometheus+Grafana 监控日志量与磁盘使用，及时告警。
四 存储与监控实践
- 存储与文件系统
- 磁盘优先 NVMe SSD，容量规划建议为“峰值数据量 × 副本数 × 约 3 倍”以覆盖段文件、索引与复制开销。
- 文件系统推荐 XFS，挂载选项 noatime,nodiratime；多盘可配置多个 log.dirs 分散 I/O。
- 可按负载调优 I/O 队列与调度（如 NVMe 的 nr_requests、noop 调度），并压测顺序写性能（如 fio）。
- 分区与副本
- 副本数建议 default.replication.factor=3；分区数影响并行度，避免单 Broker 分区过多导致恢复/负载不均。
- 监控与维护
- 监控关键指标：磁盘使用率、Broker/Partition 日志大小、请求延迟、UnderReplicatedPartitions、ActiveControllerCount 等。
- 定期检查 df -h 与 du -sh /data/kafka-logs*；对异常增长及时扩容或下调保留策略。
