debian Kafka怎样备数据

在 Debian 上，“Kafka 怎样备数据”一般可以理解为 Kafka 数据备份/容灾/高可用。下面从 单机备份、集群冗余、跨机房备份、工具方案 几个层面说明。

一、Kafka 自身的高可用（最基础）

1. 多副本（Replication）

Kafka 的“备数据”主要靠 副本机制。

# 创建 topic 时指定副本数
kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --replication-factor 3 \
  --partitions 3 \
  --topic test-topic

• replication-factor >= 3 是生产建议
• 每个 partition 有：
  • 1 个 Leader
  • N-1 个 Follower
• Leader 挂了，Follower 自动选主

✅ 这是 Kafka 最关键的“备”

2. 最小同步副本（ISR）

防止数据丢失：

min.insync.replicas=2

生产者：

acks=all

这样：

• 至少 2 个副本写入成功才算成功
• 防止 Leader 写完就宕机导致丢数据

二、Debian 上 Kafka 数据目录备份（物理备份）

1. Kafka 数据目录

默认：

/var/lib/kafka/data

或（server.properties 中）：

log.dirs=/data/kafka-logs

2. 冷备份（停机备份）

systemctl stop kafka

rsync -av /data/kafka-logs /backup/kafka-logs-$(date +%F)

systemctl start kafka

⚠️ 不适合生产高频写入

3. 热备份（不推荐直接拷）

Kafka 不保证直接拷贝 log 文件一致性
官方不推荐直接热备 log.dirs

三、逻辑备份（推荐方式）

1. 用 MirrorMaker 2（跨集群备）

最标准的 Kafka 备方案

场景

• 主集群 → 备集群
• 同城 / 异地容灾

Debian 安装

apt install kafka

MirrorMaker2 配置示例

clusters=primary,backup
primary.bootstrap.servers=10.0.0.1:9092
backup.bootstrap.servers=10.0.1.1:9092

primary->backup.enabled=true

启动：

kafka-mirror-maker.sh \
  --config mm2.properties

✅ 支持：

• topic
• partition
• offset
• consumer group

2. 用 Kafka Connect + S3 / HDFS（归档备）

适合：

• 合规
• 历史数据

常见 Sink：

• S3
• HDFS
• Elasticsearch（不推荐做备）

四、消费者重放（逻辑“备”）

Kafka 本身是可重放的：

kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning

✅ 只要数据没过期（retention.ms）

调整保留时间：

log.retention.hours=168

或永久（不推荐）：

log.retention.ms=-1

五、Debian 系统级备份（辅助）

配合：

• rsync
• borg
• restic

只备份：

• 配置文件
• 证书
• MirrorMaker 状态

六、推荐生产方案（总结）

如果你能说明：

• 单机还是集群？
• 同机房还是跨机房？
• 是“防丢”还是“灾备”？

我可以给你 具体 Debian 配置示例。