Debian下Hadoop如何升级

在 Debian 系统上升级 Hadoop，通常分为 “同版本系列升级（如 3.3.4 → 3.3.6）” 和 “跨大版本升级（如 2.x → 3.x）” 两种情况。下面给你一套 通用、稳妥、生产可用的升级流程。

一、升级前准备（非常重要）

1. 确认当前 Hadoop 版本

hadoop version

2. 查看 Debian 版本

lsb_release -a

3. 备份关键数据（必须）

# 配置目录
cp -r $HADOOP_HOME/etc/hadoop /backup/hadoop-conf-$(date +%F)

# NameNode 元数据
cp -r $HADOOP_HOME/dfs/name /backup/namenode-meta-$(date +%F)

如果是生产环境，一定要做 HDFS 元数据备份

二、Debian 上升级 Hadoop 的两种方式

✅ 方式一：官方二进制包升级（推荐）

适用于 手动安装 Hadoop（非 apt 安装）

1. 下载新版 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2. 解压并替换

tar -zxvf hadoop-3.3.6.tar.gz -C /opt/

3. 保留旧配置

cp $HADOOP_HOME/etc/hadoop/* /opt/hadoop-3.3.6/etc/hadoop/

4. 更新环境变量

编辑：

vim /etc/profile.d/hadoop.sh

示例：

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效：

source /etc/profile

三、HDFS 升级（关键步骤）

1. 停止 Hadoop 集群

stop-dfs.sh
stop-yarn.sh

2. 执行 HDFS 升级（仅大版本或重要升级需要）

hdfs namenode -upgrade

3. 启动集群

start-dfs.sh
start-yarn.sh

4. 验证升级

hadoop version
hdfs dfsadmin -report

四、升级后检查

1. 检查 HDFS 状态

hdfs fsck /

2. 检查 NameNode 日志

tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log

3. 确认 DataNode 正常

hdfs dfsadmin -report

五、回滚（如果升级失败）

1. 回滚 HDFS

stop-dfs.sh
hdfs namenode -rollback
start-dfs.sh

2. 切回旧 Hadoop 目录

export HADOOP_HOME=/opt/hadoop-3.3.4

六、Debian apt 安装的 Hadoop（不推荐）

Debian 官方仓库中 Hadoop 版本非常旧，不建议用于生产。

如果你是用 apt 安装的：

apt remove hadoop

然后改用 官方二进制包安装。

七、常见坑（Debian 特有）

问题	解决方案
Java 版本不兼容	使用 Java 8 / 11（Hadoop 3.x）
native library 报错	安装 `libhadoop` 依赖
HDFS 无法启动	检查 `dfs.namenode.name.dir`
权限问题	`chown -R hadoop:hadoop $HADOOP_HOME`

八、推荐升级策略（生产环境）

✅ 先升级测试环境
✅ 滚动升级（Rolling Upgrade）（Hadoop 3.x）
✅ HDFS 升级前做 fsimage 备份

九、我可以继续帮你

你可以告诉我：

当前 Hadoop 版本
是否生产环境
是否 HDFS / YARN / HBase / Spark
Debian 版本

我可以给你 精确到命令级别的升级方案 ✅