centos kafka数据备份

在CentOS上进行Kafka数据备份可采用以下方式：

一、全量备份

1. 使用Kafka自带工具

   • 命令行工具：通过kafka-console-consumer.sh导出指定主题数据到文件。

     # 备份单个主题  
     mkdir -p /tmp/backup  
     kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning > /tmp/backup/test.txt  
     

   • 数据目录备份：直接打包Kafka数据目录（默认/var/lib/kafka/data）。

     tar -czvf kafka_data_backup.tar.gz /var/lib/kafka/data  
     

2. 使用kafka-dump工具

   • 导出数据为二进制格式，适合大规模集群。

     sudo yum install kafka-dump  # CentOS安装  
     kafka-dump --bootstrap-server localhost:9092 --output-dir /tmp/backup  
     

二、增量备份

• 推荐Kafka MirrorMaker：通过配置源和目标集群，仅同步新增数据。

  # 创建配置文件（/tmp/mirror-maker.properties）  
  consumer.bootstrap.servers=localhost:9092  
  producer.bootstrap.servers=backup-host:9092  
  whitelist=test  # 指定主题  
  # 执行增量备份  
  kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config /tmp/mirror-maker.properties --producer.config /tmp/mirror-maker.properties --whitelist test  
  

三、恢复方法

• 全量恢复：将备份文件解压后还原到原路径，或通过kafka-console-producer.sh导入数据。
• 增量恢复：使用MirrorMaker将增量备份数据同步到目标集群。

四、注意事项

• 备份前停止Kafka服务，避免数据不一致。
• 定期验证备份文件的完整性和可恢复性。
• 可结合cron定时执行备份脚本，实现自动化。

工具选择建议：

• 小规模集群：kafka-console-consumer.sh + tar打包。
• 大规模集群：kafka-backup（支持增量备份，效率更高）。