Kafka的日志存储策略如何配置

Kafka日志存储策略配置指南

一 核心概念与生效层级

• 区分两类“日志”：
  1. 消息日志（Log）：主题分区的数据文件，路径由 log.dirs 指定；
  2. 服务日志（Kafka Server/GC 等）：运行日志，由 log4j.properties 控制。
• 生效优先级：Topic 级动态配置 > Broker 级默认配置。常用方式为在 server.properties 设置全局默认，再用 kafka-configs.sh 为指定 Topic 覆盖。
• 清理策略类型：
  • delete：按时间或大小删除旧分段；
  • compact：按键保留同一 key 的最新值（适合变更日志/状态流）；
  • 也可设为 delete,compact 同时启用两种策略（按 topic 用途选择）。

二 关键参数与默认值

• 存储与分段
  • log.dirs：消息日志目录（多路径逗号分隔，建议分布在不同磁盘）；
  • log.segment.bytes：单个日志分段上限，默认 1GB；
  • log.roll.{hours,ms}：按时间强制滚动分段的周期，默认 168 小时（7 天）。
• 保留与检查
  • log.retention.{ms,minutes,hours}：保留时间，优先级 ms > minutes > hours，默认 168 小时；
  • log.retention.bytes：按分区保留的总大小阈值，默认 -1（不限制）；
  • log.retention.check.interval.ms：检查是否满足删除条件的时间间隔，常见为 300000 ms（5 分钟）；
  • log.segment.delete.delay.ms：分段被标记删除后到真正删除的延迟，默认 60000 ms（1 分钟）。
• 清理与压缩
  • log.cleanup.policy：清理策略，取值 delete/compact，默认 delete；
  • log.cleaner.enable：是否启用日志压缩器，默认 true；
  • compression.type：消息压缩算法，producer/snappy/lz4/gzip，默认 producer（沿用生产者压缩）。

三 配置步骤与示例

• 全局默认（server.properties）
  • 设置数据与分段
    • log.dirs=/data/kafka/data
    • log.segment.bytes=1073741824
    • log.roll.hours=168
  • 设置保留与检查
    • log.retention.ms=604800000
    • log.retention.bytes=-1
    • log.retention.check.interval.ms=300000
  • 设置清理与压缩
    • log.cleanup.policy=delete
    • log.cleaner.enable=true
    • compression.type=snappy
• 按 Topic 覆盖（动态生效）
  • 创建时指定
    • bin/kafka-topics.sh --create --topic orders --bootstrap-server localhost:9092
      –partitions 3 --replication-factor 3
      –config retention.ms=172800000 --config cleanup.policy=compact
  • 运行中修改
    • bin/kafka-configs.sh --bootstrap-server localhost:9092
      –alter --entity-type topics --entity-name orders
      –add-config retention.ms=259200000,segment.bytes=536870912
• 立即删除某 Topic 的过期数据（谨慎）
  • bin/kafka-topics.sh --alter --topic orders --config cleanup.policy=delete
• 服务日志轮转（避免占用系统盘）
  • 在 config/log4j.properties 中设置 RollingFileAppender 的 MaxFileSize/MaxBackupIndex；
  • 若仅改 log4j.properties 路径未生效，还需在 bin/kafka-run-class.sh 中导出 LOG_DIR 指向新目录。

四 运维要点与常见坑

• 删除粒度是“分段”而非逐条消息：只有当分段被关闭并变为非活动后，满足 retention.ms/retention.bytes 才会被删除；因此实际保留时长可能比设置多出一个活跃分段的时间窗口。
• 压缩与保留的取舍：对变更日志/状态主题用 compact；对审计/事件流用 delete 并合理设置 retention.ms/retention.bytes。
• 刷盘策略：不建议在 Broker 端通过 log.flush.interval.messages/ms 强制刷盘，通常通过 副本机制保障可靠性，强制刷盘会显著影响吞吐。
• 监控与容量：关注 磁盘使用率、分段数量、清理滞后 等指标，必要时结合告警与容量规划（多磁盘、分层存储）。