Linux Kafka数据恢复实操指南
一 恢复总览与准备
- 明确恢复目标：是误删Topic、Broker磁盘损坏、跨集群迁移，还是回滚到某时间点。据此选择全量恢复、增量恢复或混合恢复。
- 准备与校验：
- 备份介质的完整性（校验和/清单）。
- 目标集群的Topic配置（分区数、副本因子、清理策略、压缩、ACL/SASL等）。
- 消费者组偏移策略：若需重放历史，使用新的消费者组；若需续跑原业务，按原组重放并处理好位点。
- 版本兼容：尽量保证备份与恢复的Kafka版本一致；跨大版本恢复需先在测试环境验证。
- 影响评估：恢复期间可能产生额外磁盘IO/网络带宽与生产延迟，建议在低峰时段执行，并做好回滚预案。
二 按场景的恢复步骤
- 场景A 逻辑备份恢复（控制台导出/导入）
适用：少量主题、可接受重建Topic与重放历史。
步骤：
- 在目标集群按备份时的配置创建Topic（分区/副本/cleanup.policy等保持一致）。
- 全量导入：
kafka-console-consumer.sh --bootstrap-server broker:9092 --topic --from-beginning --group | \
kafka-console-producer.sh --broker-list broker:9092 --topic --new-producer
注：数据量大时建议分批导入或改用异步/批量写入工具。
- 若仅需追加增量：去掉**–from-beginning**，从需要的位点继续消费。
- 场景B 物理日志恢复（拷贝log.dirs）
适用：单/少量Broker数据目录损坏或丢失，且保留策略未清理数据。
步骤：
- 停止目标Broker。
- 备份当前log.dirs与新数据目录。
- 将备份的对应分区目录（含**.log/.index/.timeindex等）拷回目标Broker的相同log.dirs/分区目录**结构。
- 启动Broker，使用kafka-log-dirs.sh --describe校验分区与Leader分布。
- 如跨路径/跨磁盘恢复，注意server.properties中的log.dirs与目录权限一致。
- 场景C 跨集群/异地恢复（MirrorMaker 2）
适用：灾备、迁移、回滚到远端备份集群。
步骤：
- 在备份集群（源）与目标集群分别创建Topic（配置一致）。
- 配置MirrorMaker 2（常见为Distributed模式），设置源/目标bootstrap.servers、复制的Topic白名单/正则、检查点与自动创建Topic策略。
- 启动MirrorMaker 2，观察复制延迟与Lag，待追平后按需切换生产流量。
- 场景D 元数据恢复（ZooKeeper 或 KRaft）
适用：误删Topic/ACL/配置，或元数据损坏。
步骤：
- ZooKeeper：从备份中恢复**/kafka/config**、/kafka/brokers、ACL与消费者组等znode；恢复后重启集群并校验。
- KRaft：备份并恢复**__cluster_metadata**日志（如使用kafka-dump-log.sh导出/导入），确保元数据一致性后再启动Controller与Broker。
- 场景E 使用备份工具恢复（如 kafka-dump / kafka-backup）
适用：已有按工具规范生成的备份集。
步骤：按工具文档执行还原命令或导入流程；全量恢复通常先恢复全量，再按时间点/增量集回放差异。
三 关键命令与示例
- 逻辑导入/导出（控制台）
- 导出：
kafka-console-consumer.sh --bootstrap-server broker:9092 --topic --from-beginning --group > .txt
- 导入：
kafka-console-producer.sh --broker-list broker:9092 --topic --new-producer < .txt
- 物理日志校验
- 查看分区分布与状态：
kafka-log-dirs.sh --bootstrap-server broker:9092 --describe --topic
- MirrorMaker 2（Distributed，示例）
- 配置connect-mirror-maker.properties：
clusters=sourceCluster,targetCluster
sourceCluster.bootstrap.servers=src:9092
targetCluster.bootstrap.servers=dst:9092
sourceCluster->targetCluster.topics=.*
replication.factor=3
checkpoints.topic.replication.factor=3
heartbeats.topic.replication.factor=3
emit.heartbeats.interval.seconds=5
- 启动：
connect-distributed.sh connect-mirror-maker.properties
- KRaft元数据备份片段
- 导出元数据日志：
kafka-dump-log.sh --files /data/kafka-logs/__cluster_metadata-0/00000000000000000000.log > kraft-metadata-$(date +%F).txt
四 常见陷阱与最佳实践
- 副本≠备份：多副本提供高可用，不替代外部备份；误删Topic/配置或跨地域灾难仍需备份。
- 一致性校验：恢复后用kafka-console-consumer.sh抽样校验关键消息，或用kafka-verifiable-producer.sh回放校验。
- 位点与重放：避免用已提交位点覆盖新数据；重放历史请使用新消费者组或临时关闭自动提交。
- 配置一致性：恢复Topic时确保分区数/副本因子/cleanup.policy/压缩/ACL与备份时一致，避免恢复后Lag/数据保留异常。
- 定期演练：按RPO/RTO目标定期做恢复演练与备份有效性校验，并保留多份异地副本。
以上步骤覆盖从逻辑备份、物理日志、跨集群复制到元数据的主流恢复路径；请结合你的实际环境与版本选择最稳妥的方案，并在变更前做好完整备份与回滚预案。
