温馨提示×

怎样备份debian kafka配

小樊
47
2026-09-19 01:19:09
栏目: 智能运维

在 Debian 上备份 Kafka 配置,通常分两类:配置文件备份 和 数据(Topic 消息)备份。下面按常见做法说明。


一、备份 Kafka 配置文件(最常用)

Kafka 配置一般位于:

  • /etc/kafka/(Debian 包安装常见)
  • /opt/kafka/config/(手动安装常见)

1. 确认配置目录

dpkg -L kafka | grep config
# 或
ls /etc/kafka

常见文件:

  • server.properties
  • zookeeper.properties
  • producer.properties
  • consumer.properties
  • server.properties

2. 打包备份

sudo tar czf kafka-config-$(date +%F).tar.gz /etc/kafka

或只备份关键文件:

sudo cp -r /etc/kafka /backup/kafka-config-$(date +%F)

3. 备份 systemd 服务(如有)

sudo cp /lib/systemd/system/kafka.service /backup/
sudo cp /lib/systemd/system/zookeeper.service /backup/

二、备份 Kafka 数据(Topic 消息)

⚠️ Kafka 数据不等于配置,通常是:

  • /var/lib/kafka/
  • /tmp/kafka-logs
  • 或 log.dirs 指定的目录

查看数据目录

grep log.dirs /etc/kafka/server.properties

停止 Kafka 后备份(推荐)

sudo systemctl stop kafka
sudo tar czf kafka-data-$(date +%F).tar.gz /var/lib/kafka
sudo systemctl start kafka

不停机也可 cp,但有数据不一致风险。


三、使用 Kafka 工具逻辑备份(可选)

适合 跨集群迁移:

1. 用 kafka-dump-log

分析单个 partition(不常用)

2. 用 MirrorMaker(推荐)

kafka-mirror-maker.sh \
  --consumer.config consumer.properties \
  --producer.config producer.properties \
  --whitelist ".*"

四、自动化备份(cron 示例)

0 2 * * * tar czf /backup/kafka-config-$(date +\%F).tar.gz /etc/kafka

五、最小备份清单(建议)

✅ 必备份:

  • server.properties
  • zookeeper.properties
  • log.dirs 目录
  • systemd 服务文件

✅ 可选:

  • ACL / SCRAM 用户
  • Topic 描述(kafka-topics.sh --describe)

如果你愿意,我可以:

  • 给你 一键备份脚本
  • 区分 Debian 包 vs 二进制安装
  • 教你 只备份 Topic 结构不备份消息

你现在是 Debian apt 安装 还是 手动解压安装?

0 踩