Debian如何升级Hadoop

在 Debian 系统上升级 Hadoop，通常不建议使用 apt，而是采用 官方二进制包手动升级，因为 Hadoop 不在 Debian 默认仓库中，且版本往往较旧。下面给你一套稳妥、可回滚的升级流程。

一、升级前准备（非常重要）

1. 确认当前 Hadoop 版本

hadoop version

2. 确认部署方式

• 是否使用 Hadoop 原生 tarball
• 是否使用 Cloudera / HDP
• 是否运行 HDFS / YARN 服务

以下流程适用于 Apache Hadoop 原生部署

3. 备份关键数据（必须）

# 配置目录
cp -r $HADOOP_HOME/etc/hadoop /backup/hadoop-etc-$(date +%F)

# NameNode 元数据（非常重要）
cp -r $HADOOP_HOME/data/dfs/name /backup/namenode-$(date +%F)

# 如果不确定路径
find / -name "hdfs-site.xml" 2>/dev/null

二、下载新版本 Hadoop

1. 查看最新版本

官网：

https://hadoop.apache.org/releases.html

2. 下载（示例）

cd /opt
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

3. 解压

tar -xzf hadoop-3.3.6.tar.gz

三、升级 Hadoop（推荐方式）

✅ 推荐：并行安装 + 切换（最安全）

1. 保留旧版本

mv hadoop-3.3.6 /opt/hadoop-3.3.6

2. 修改 HADOOP_HOME

编辑环境变量（如 ~/.bashrc 或 /etc/profile）：

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置生效：

source ~/.bashrc

3. 复制旧配置文件（关键）

cp /opt/hadoop-3.2.1/etc/hadoop/* $HADOOP_HOME/etc/hadoop/

⚠️ 不要直接覆盖新版本目录

四、HDFS 升级（重点）

1. 停止 Hadoop 集群

stop-dfs.sh
stop-yarn.sh

2. 执行 HDFS 升级

hdfs namenode -upgrade

此操作会：

• 备份旧元数据
• 升级 HDFS 目录结构

3. 启动集群

start-dfs.sh
start-yarn.sh

4. 检查升级状态

hdfs dfsadmin -report
hadoop version

五、确认升级成功

1. 检查 HDFS

hdfs fsck /

2. 检查 YARN

yarn node -list

3. 运行测试任务

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 2 5

六、回滚（万一出问题）

回滚到旧版本

stop-dfs.sh
hdfs namenode -rollback
start-dfs.sh

七、Debian 特殊注意事项

1. Java 版本

Hadoop 3.x 需要 Java 8 或 11

java -version

如需要安装：

apt install openjdk-11-jdk

2. 用户权限

确保 Hadoop 相关目录属于运行用户：

chown -R hadoop:hadoop /opt/hadoop*

八、不推荐的方式 ❌

九、总结（推荐流程）

1. 备份配置 + NameNode 元数据
2. 下载新版本 Hadoop
3. 并行安装
4. 复制配置文件
5. 停止集群
6. hdfs namenode -upgrade
7. 启动并验证

如果你愿意，可以告诉我：

• 当前 Hadoop 版本
• 是否 HA / 单节点 / 集群
• 是否使用 Hive / HBase / Spark

我可以给你 定制化的升级方案 ✅