linux hdfs配置怎样升级

在 Linux 环境下升级 HDFS（Hadoop HDFS）配置或版本，通常分为两种情况：

1. 仅升级/修改 HDFS 配置（不升级 Hadoop 版本）
2. 升级 Hadoop 版本（涉及 HDFS 配置兼容与数据迁移）

下面分别说明。

一、仅升级 / 修改 HDFS 配置（常见）

适用于：

• 调整 hdfs-site.xml
• 修改副本数、块大小、NameNode 参数
• 新增 DataNode 或角色节点

1. 修改配置文件

常见配置文件路径：

$HADOOP_HOME/etc/hadoop/

关键文件：

• hdfs-site.xml
• core-site.xml
• workers（或 slaves）

示例：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

2. 同步配置到所有节点

scp hdfs-site.xml core-site.xml user@datanode:/path/hadoop/etc/hadoop/

3. 重启 HDFS 服务

stop-dfs.sh
start-dfs.sh

或滚动重启（生产推荐）：

hdfs --daemon stop datanode
hdfs --daemon start datanode

二、升级 Hadoop / HDFS 版本

⚠️ 升级前必做

• 备份 NameNode 元数据
• 确认 Hadoop 版本兼容性
• 停止所有写操作

1. 备份 NameNode 元数据

hdfs dfsadmin -safemode enter
hdfs dfsadmin -saveNamespace

备份目录：

$HADOOP_HOME/data/dfs/name

2. 安装新版本 Hadoop

tar -xzf hadoop-3.x.tar.gz -C /opt/

3. 复制旧配置文件

cp old_hadoop/etc/hadoop/*.xml new_hadoop/etc/hadoop/

4. 执行 HDFS 升级

start-dfs.sh -upgrade

5. 验证升级

hdfs dfsadmin -report
hdfs version

6. 确认无误后完成升级

hdfs dfsadmin -finalizeUpgrade

三、生产环境建议

✅ 使用 滚动升级（Rolling Upgrade）（Hadoop 2.7+）

hdfs dfsadmin -rollingUpgrade prepare
hdfs dfsadmin -rollingUpgrade query

✅ 升级顺序：

1. NameNode（先 Standby，再 Active）
2. JournalNode
3. DataNode

四、常见坑

• 配置不兼容导致 NameNode 无法启动
• 忘记同步 workers 文件
• 升级前未进入 SafeMode
• HDFS 版本跨大版本（如 2.x → 3.x）需重点关注 EC、ACL

如果你能告诉我：

• 当前 Hadoop 版本
• 目标版本
• 是否生产环境

我可以给你精确到命令的升级方案。