温馨提示×

ubuntu hadoop怎么安装

小樊
43
2026-10-16 14:08:44
栏目: 智能运维

下面给你一份**在 Ubuntu 上安装 Hadoop(单机/伪分布式)**的常见做法,适合学习和开发使用。


一、环境准备

1. 更新系统

sudo apt update
sudo apt upgrade -y

2. 安装 Java(Hadoop 依赖)

sudo apt install openjdk-8-jdk -y

推荐 JDK 8(Hadoop 3.x 也支持 JDK 8/11)

检查:

java -version

配置 JAVA_HOME:

sudo nano /etc/environment

添加:

JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

生效:

source /etc/environment

二、创建 Hadoop 用户(可选但推荐)

sudo adduser hadoop
sudo usermod -aG sudo hadoop
su - hadoop

三、下载并安装 Hadoop

以 Hadoop 3.3.6 为例:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop

四、配置环境变量

nano ~/.bashrc

添加:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

生效:

source ~/.bashrc

五、配置 Hadoop(伪分布式)

1. 配置 hadoop-env.sh

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

确保:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 配置 core-site.xml

nano $HADOOP_HOME/etc/hadoop/core-site.xml

内容:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. 配置 hdfs-site.xml

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

内容:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. 配置 mapred-site.xml

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

内容:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. 配置 yarn-site.xml

nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

内容:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

六、SSH 免密登录

sudo apt install ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost

七、格式化并启动 Hadoop

1. 格式化 HDFS

hdfs namenode -format

2. 启动

start-dfs.sh
start-yarn.sh

3. 查看进程

jps

应看到:

  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager

八、验证

浏览器访问:

  • HDFS: http://localhost:9870
  • YARN: http://localhost:8088

九、停止 Hadoop

stop-yarn.sh
stop-dfs.sh

如果你需要:

  • ✅ 完全分布式集群
  • ✅ Docker 安装 Hadoop
  • ✅ Ubuntu 22.04 特定问题

告诉我你的 Ubuntu 版本和使用场景,我可以进一步帮你定制。

0 踩