温馨提示×

Kafka在Debian上的数据存储配置有哪些

小樊
54
2025-08-17 08:03:57
栏目: 云计算

Kafka在Debian上的数据存储配置主要涉及以下关键参数,需在/etc/kafka/server.properties中设置:

  • 日志存储路径log.dirs=/var/lib/kafka/data,可指定多个目录(建议挂载不同磁盘),Kafka将数据以日志段形式存储在此。
  • 日志保留策略
    • log.retention.hours=168:按时间保留,超7天删除(默认值)。
    • log.retention.bytes=1073741824:按大小保留,超1GB删除(需与时间策略配合)。
  • 日志段配置
    • log.segment.bytes=1073741824:单个日志段大小(默认1GB)。
    • log.roll.hours=168:日志段滚动时间间隔(默认7天)。
  • 副本与高可用
    • default.replication.factor=3:副本数(生产环境建议≥3,需与集群节点数一致)。
    • min.insync.replicas=2:确保数据一致性的最小同步副本数。
  • 清理策略log.cleanup.policy=delete(默认删除旧数据,可设为compact进行压缩)。

操作步骤

  1. 安装Java 11+和Kafka,解压后进入配置目录。
  2. 编辑server.properties,设置上述参数并保存。
  3. 重启Kafka服务:sudo systemctl restart kafka

注意事项

  • 确保log.dirs目录存在且Kafka有写入权限(可通过chown -R kafka:kafka /var/lib/kafka设置)。
  • 生产环境建议使用SSD存储log.dirs,并定期监控磁盘空间。

0