怎样备份linux hdfs配置

linux

小樊

2026-10-01 14:37:20

栏目: 智能运维

在 Linux 上备份 HDFS（Hadoop Distributed File System）配置，通常就是备份 Hadoop 的配置目录和相关元数据。下面按常规做法 → 进阶做法说明。

一、最常用：备份 Hadoop 配置目录

HDFS 的配置一般都在 Hadoop 的 etc/hadoop 目录中。

1. 找到 Hadoop 安装目录

常见位置：

/usr/local/hadoop
/opt/hadoop
$HADOOP_HOME

2. 备份配置目录

tar -czvf hdfs-config-backup-$(date +%F).tar.gz $HADOOP_HOME/etc/hadoop

包含的关键文件：

hdfs-site.xml
core-site.xml
hadoop-env.sh
log4j.properties
workers / slaves

✅ 这是最基础、最重要的备份

二、备份 HDFS 元数据（NameNode）

⚠️ 注意：

配置文件 ≠ HDFS 数据
如果 NameNode 损坏，还需要元数据

1. 找到 NameNode 元数据目录

在 hdfs-site.xml 中：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/dfs/name</value>
</property>

2. 停止 NameNode 后备份（推荐）

hdfs --daemon stop namenode
tar -czvf nn-metadata-backup-$(date +%F).tar.gz /data/hadoop/dfs/name
hdfs --daemon start namenode

三、使用 HDFS 自带命令（不停机）

1. 查看 NameNode 状态

hdfs dfsadmin -report

2. 创建元数据检查点（Secondary NameNode）

hdfs dfsadmin -saveNamespace

四、备份整个 Hadoop 目录（简单粗暴）

适合测试环境：

tar -czvf hadoop-full-backup-$(date +%F).tar.gz $HADOOP_HOME

⚠️ 生产环境不建议（太大）

五、自动化备份（推荐）

示例：crontab 每天备份

0 2 * * * tar -czvf /backup/hdfs-config-$(date +\%F).tar.gz $HADOOP_HOME/etc/hadoop

六、恢复配置示例

tar -xzvf hdfs-config-backup-2026-01-21.tar.gz -C /

然后重启 HDFS：

stop-dfs.sh
start-dfs.sh

七、总结（最简方案）

✅ 最小必备备份

$HADOOP_HOME/etc/hadoop
dfs.namenode.name.dir

如果你愿意，可以告诉我：

Hadoop 版本（2.x / 3.x）
单机 / 集群
是否启用 HA