Ubuntu Hadoop安装步骤是什么

ubuntu

小樊

2025-04-24 02:30:10

栏目: 智能运维

在Ubuntu上安装Hadoop的步骤如下：

1. 环境准备

操作系统：建议使用Ubuntu 24.2或其他稳定版本。
JDK：安装JDK 1.8.0_361（或其他兼容版本）。
Hadoop：下载Hadoop 3.3.5（或其他稳定版本）。

2. 环境初始化

增加Hadoop用户：

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

修改主机实例名：
```
sudo vi /etc/hostname
```
保存退出，并重启服务器。
更新APT包管理器：
```
sudo apt-get update
```
重新登录服务器：
```
su - hadoop
```

3. 安装JDK

使用APT管理工具安装JDK：
```
sudo apt-get install openjdk-8-jdk
```
验证安装：
```
java -version
```

配置环境变量：

vi ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bashrc

4. 配置免密登录

运行ssh：
```
ssh localhost
```
如果需要输入密码，说明免密登录需要配置。

生成密钥：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将公钥添加到authorized_keys：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次运行测试：
```
ssh localhost
```

5. 安装Hadoop

下载并解压Hadoop：

mkdir /opt/hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop

配置环境变量：

vi ~/.bashrc
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.5
export PATH=$HADOOP_HOME/bin:$PATH
source ~/.bashrc

格式化HDFS：
```
hdfs namenode -format
```
启动HDFS：
```
start-dfs.sh
```
启动YARN：
```
start-yarn.sh
```

6. 验证安装

检查HDFS状态：
```
hdfs dfsadmin -report
```
检查YARN状态：
```
yarn node -list
```

以上步骤是在Ubuntu上安装Hadoop的基本流程，具体配置可能会因版本和环境的不同而有所差异。建议在安装前详细阅读相关版本的官方文档，并根据实际情况进行调整。