温馨提示×

Kafka日志清理在Linux上的策略

小樊
44
2025-09-13 09:30:29
栏目: 智能运维

Kafka在Linux上的日志清理策略主要包括以下几种,通过配置server.properties文件实现:

  1. 基于时间的清理
    • 按保留时间删除旧日志段,配置参数:
      • log.retention.hours(默认168小时,7天)
      • log.retention.minutes/log.retention.ms(优先级高于小时)
  2. 基于日志大小的清理
    • 当日志总大小超过阈值时,删除最早日志段,配置参数:
      • log.retention.bytes(默认-1,表示不限制)
  3. 日志压缩(非传统清理,用于数据去重)
    • 仅保留每个key的最新消息,适用于更新频繁场景,配置参数:
      • log.cleanup.policy=compact
      • 需启用log.cleaner.enable=true(默认开启)

注意:修改配置后需重启Kafka生效,且删除操作不可逆,建议提前备份重要数据。

0