Ubuntu 上安装 Hadoop 依赖的简明步骤
一 前置准备
- 更新软件源并安装基础工具(建议使用普通用户操作,必要时在命令前加 sudo):
- sudo apt update && sudo apt upgrade -y
- sudo apt install -y wget tar gpg # 用于下载与解压 Hadoop 包
二 安装核心依赖
- 安装 Java(Hadoop 3.x 建议使用 OpenJDK 8 或 11)
- 安装 OpenJDK 8:sudo apt install -y openjdk-8-jdk
- 或安装 OpenJDK 11:sudo apt install -y openjdk-11-jdk
- 验证:java -version 与 javac -version 均应返回对应版本号
- 安装并配置 SSH(Hadoop 节点间通信与启动脚本依赖)
- 安装:sudo apt install -y openssh-server openssh-client
- 启动与开机自启:sudo systemctl start ssh && sudo systemctl enable ssh
- 配置免密登录(本机伪分布式必需):
- ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- chmod 600 ~/.ssh/authorized_keys
- 验证:ssh localhost 应无需密码登录
三 设置环境变量
- 编辑用户环境:nano ~/.bashrc
- 添加以下内容(按实际 Java 安装路径调整;可用 update-alternatives --config java 查看已安装 JDK 路径):
- 若使用 OpenJDK 8:
- export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
- 若使用 OpenJDK 11:
- export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
- 通用(Hadoop 安装后再补充 HADOOP_HOME):
- export HADOOP_HOME=/usr/local/hadoop
- export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 使配置生效:source ~/.bashrc
四 快速验证依赖是否就绪
- Java:java -version 返回版本;echo $JAVA_HOME 返回正确路径
- SSH:ssh localhost 能免密登录
- Hadoop 命令可用:hadoop version 能输出版本信息(在解压并配置好 HADOOP_HOME 后)
五 常见故障排查
- “JAVA_HOME is not set”:检查 ~/.bashrc 中 JAVA_HOME 是否指向有效的 /usr/lib/jvm/java--openjdk- 路径,并重新 source
- SSH 免密失败:确认 ~/.ssh/authorized_keys 权限为 600,.ssh 目录权限为 700;必要时重启 ssh 服务
- Hadoop 启动报错:确认已安装 SSH 服务端 且 hadoop-env.sh 中的 JAVA_HOME 与 ~/.bashrc 一致