centos怎么备份hdfs配置

在 CentOS 上备份 HDFS（Hadoop 分布式文件系统）配置，通常是指备份 Hadoop 的配置文件和关键元数据，而不是备份 HDFS 上的业务数据。下面按常见场景说明。

一、备份 HDFS 配置文件（最常用）

HDFS 配置一般位于 Hadoop 安装目录的 etc/hadoop 下。

1. 确定配置目录

常见路径：

$HADOOP_HOME/etc/hadoop

例如：

/usr/local/hadoop/etc/hadoop
/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop

2. 打包备份配置

cd $HADOOP_HOME/etc
tar czvf hadoop-conf-backup-$(date +%F).tar.gz hadoop

3. 核心配置文件（重点）

建议确保以下文件被备份：

• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml
• hadoop-env.sh
• log4j.properties
• workers 或 slaves

二、备份 NameNode 元数据（非常重要）

HDFS 的目录结构元数据存储在 NameNode 上，不是配置文件。

1. 查看元数据目录

在 hdfs-site.xml 中：

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/data/hadoop/dfs/name</value>
</property>

2. 停止 NameNode 后备份（最安全）

hadoop-daemon.sh stop namenode
# 或
systemctl stop hadoop-namenode

tar czvf nn-metadata-backup-$(date +%F).tar.gz /data/hadoop/dfs/name

启动 NameNode：

hadoop-daemon.sh start namenode

三、使用 Secondary NameNode / Checkpoint 备份（可选）

如果启用了 Secondary NameNode：

dfs.namenode.checkpoint.dir

也可以备份该目录作为恢复辅助。

四、CDH / Ambari 环境（更简单）

CDH（Cloudera）

• 配置在 CM 数据库中
• 可直接在 Cloudera Manager 导出配置
• 或备份：

/var/run/cloudera-scm-agent/process/
/etc/hadoop/conf/

Ambari（HDP）

ambari-server backup

五、建议的备份策略

✅ 定期备份：

• 配置文件（每天或每次变更后）
• NameNode 元数据（每周或重大操作前）

✅ 异地保存：

scp backup.tar.gz user@backup-server:/backup/hdfs/

✅ 版本管理（推荐）：

git init
git add *.xml *.sh
git commit -m "hdfs config backup"

如果你能告诉我：

• Hadoop 是 原生 / CDH / HDP
• 是否启用了 HA
• 是否只需要配置文件还是包含元数据

我可以给你更精确的备份命令。