Filebeat在CentOS上的备份与恢复策略

备份与恢复目标与范围

• 在 CentOS 上，Filebeat 的备份与恢复应覆盖三类关键资产：
  1. 配置文件：默认路径为 /etc/filebeat/filebeat.yml；
  2. 状态与注册表：默认路径为 /var/lib/filebeat/（包含用于断点续传的 registry 数据）；
  3. 业务日志数据：Filebeat 本身不负责长期存储，通常写入 Elasticsearch/Logstash，因此需对 ES 的索引/快照进行备份与恢复。上述三类资产共同保证故障后仍能按断点续传、快速还原配置并恢复数据链路。

备份策略与步骤

• 配置文件备份
  • 建议先停止服务以避免写入冲突：sudo systemctl stop filebeat；
  • 备份：sudo cp /etc/filebeat/filebeat.yml /backup/filebeat.yml.$(date +%F_%H-%M-%S)；
  • 可选：做配置语法校验（需安装 filebeat 可执行文件）：./filebeat -configtest -e；
  • 恢复时复制回原路径并重启：sudo cp /backup/filebeat.yml.xxx /etc/filebeat/filebeat.yml && sudo systemctl start filebeat。
• 状态与注册表备份
  • 状态目录：/var/lib/filebeat/（包含 registry 文件，记录已读偏移）；
  • 备份：sudo tar czvf /backup/filebeat-registry-$(date +%F).tar.gz -C /var/lib filebeat；
  • 恢复：先停服务，解压覆盖原目录，再启动服务，以继续从上次偏移读取。
• 业务日志数据备份（Elasticsearch 侧）
  • 采用 Snapshot and Restore 机制做定期全量/增量备份，将索引/数据流备份到备份仓库（如 FS、S3、HDFS 等），并按保留策略管理快照生命周期（SLM）。
• 自动化与保留
  • 使用 cron 定时执行备份脚本，示例（每日 02:00）：
    • 0 2 * * * /usr/local/bin/backup_filebeat.sh
  • 脚本中建议加入时间戳、完整性校验（如 sha256）、清理过期备份等逻辑。

恢复策略与步骤

• 配置恢复
  • 将备份的 filebeat.yml 复制回 /etc/filebeat/，执行 ./filebeat -configtest -e 校验；
  • 启动服务：sudo systemctl start filebeat。
• 状态与注册表恢复
  • 停止服务：sudo systemctl stop filebeat；
  • 恢复 /var/lib/filebeat/（覆盖或合并 registry 目录）；
  • 启动服务，Filebeat 将依据注册表从上次偏移继续采集，避免重复或丢失。
• 业务日志恢复（Elasticsearch 侧）
  • 在 ES 中创建相同仓库后执行快照恢复（指定目标索引/数据流、时间范围、重映射等参数），恢复完成后校验文档数量与关键字段。
• 异常中断后的自恢复能力
  • 若进程异常终止，Filebeat 重启后会自动读取 registry 中的文件与偏移信息，继续传输未完成的数据；可通过 tail -f /var/log/filebeat/filebeat 观察启动与追平进度。

目录与关键文件清单

注意事项与最佳实践

• 一致性优先：对 /var/lib/filebeat/ 执行备份时尽量在停机窗口或确保无写入冲突；恢复时同样建议停机操作。
• 校验与演练：定期校验备份可用性与完整性（如校验和、恢复演练），避免灾难时不可用。
• 版本与路径：跨版本恢复需评估 registry 与配置兼容性；迁移到新主机时注意 /etc/filebeat/ 与 /var/lib/filebeat/ 的路径一致性。
• 安全与合规：备份文件应做访问控制与（必要时）加密存储，符合企业合规要求。
• 监控与告警：对 Filebeat 运行状态与备份任务执行结果设置监控告警，缩短故障发现与恢复时间。