linux hadoop怎么配置环境

下面给你一份在 Linux 上配置 Hadoop 环境的实用指南，适用于 Hadoop 单机 / 伪分布式（最常用学习环境）。如果你要的是完全分布式集群，我也可以单独补充。

一、前置准备

1. 安装 JDK（必须）

Hadoop 依赖 Java。

java -version

如果没有 Java：

sudo apt update
sudo apt install openjdk-8-jdk -y   # Ubuntu/Debian
# 或
sudo yum install java-1.8.0-openjdk-devel -y  # CentOS

配置 JAVA_HOME：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

二、创建 Hadoop 用户（可选但推荐）

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop

后续操作可在 hadoop 用户下完成。

三、下载并安装 Hadoop

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop

配置环境变量：

echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> ~/.bashrc
source ~/.bashrc

四、配置 Hadoop（伪分布式）

1. 配置 hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 配置 core-site.xml

vim $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

3. 配置 hdfs-site.xml

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. 配置 mapred-site.xml

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template \
   $HADOOP_HOME/etc/hadoop/mapred-site.xml
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. 配置 yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

五、SSH 免密登录（必须）

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

ssh localhost

六、启动 Hadoop

1. 格式化 HDFS

hdfs namenode -format

2. 启动 HDFS 和 YARN

start-dfs.sh
start-yarn.sh

3. 验证

jps

应看到：

• NameNode
• DataNode
• ResourceManager
• NodeManager

Web 页面：

• HDFS: http://localhost:9870
• YARN: http://localhost:8088

七、简单测试

hdfs dfs -mkdir /test
hdfs dfs -put ~/.bashrc /test
hdfs dfs -ls /test

八、关闭 Hadoop

stop-yarn.sh
stop-dfs.sh

如果你需要：

• ✅ Hadoop 完全分布式集群配置
• ✅ CentOS 专用教程
• ✅ Hadoop + Spark 配置
• ✅ 常见报错排查

直接告诉我你的 Linux 发行版和使用场景即可。