温馨提示×

Ubuntu Hadoop 依赖怎么安装

小樊
34
2025-12-12 21:09:08
栏目: 智能运维

Ubuntu 上安装 Hadoop 依赖的简明步骤

一 前置准备

  • 更新软件源并安装基础工具(建议使用普通用户操作,必要时在命令前加 sudo):
    • sudo apt update && sudo apt upgrade -y
    • sudo apt install -y wget tar gpg # 用于下载与解压 Hadoop 包

二 安装核心依赖

  • 安装 Java(Hadoop 3.x 建议使用 OpenJDK 8 或 11
    • 安装 OpenJDK 8:sudo apt install -y openjdk-8-jdk
    • 或安装 OpenJDK 11:sudo apt install -y openjdk-11-jdk
    • 验证:java -version 与 javac -version 均应返回对应版本号
  • 安装并配置 SSH(Hadoop 节点间通信与启动脚本依赖)
    • 安装:sudo apt install -y openssh-server openssh-client
    • 启动与开机自启:sudo systemctl start ssh && sudo systemctl enable ssh
    • 配置免密登录(本机伪分布式必需):
      • ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
      • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
      • chmod 600 ~/.ssh/authorized_keys
      • 验证:ssh localhost 应无需密码登录

三 设置环境变量

  • 编辑用户环境:nano ~/.bashrc
  • 添加以下内容(按实际 Java 安装路径调整;可用 update-alternatives --config java 查看已安装 JDK 路径):
    • 若使用 OpenJDK 8:
      • export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    • 若使用 OpenJDK 11:
      • export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
    • 通用(Hadoop 安装后再补充 HADOOP_HOME):
      • export HADOOP_HOME=/usr/local/hadoop
      • export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
      • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 使配置生效:source ~/.bashrc

四 快速验证依赖是否就绪

  • Java:java -version 返回版本;echo $JAVA_HOME 返回正确路径
  • SSH:ssh localhost 能免密登录
  • Hadoop 命令可用:hadoop version 能输出版本信息(在解压并配置好 HADOOP_HOME 后)

五 常见故障排查

  • “JAVA_HOME is not set”:检查 ~/.bashrc 中 JAVA_HOME 是否指向有效的 /usr/lib/jvm/java--openjdk- 路径,并重新 source
  • SSH 免密失败:确认 ~/.ssh/authorized_keys 权限为 600,.ssh 目录权限为 700;必要时重启 ssh 服务
  • Hadoop 启动报错:确认已安装 SSH 服务端 且 hadoop-env.sh 中的 JAVA_HOME 与 ~/.bashrc 一致

0