linux hadoop怎样配置

下面给你一份在 Linux 上配置 Hadoop（以单机/伪分布式为例）的简明实操指南，适合学习和测试环境。如果你是要集群（多节点），我也可以单独再讲。

一、环境准备

1. 系统要求

• Linux（CentOS / Ubuntu / Rocky 等均可）
• JDK 8 或 JDK 11（Hadoop 3.x 推荐 JDK 8）
• SSH（用于启动 Hadoop）

2. 创建用户（可选但推荐）

useradd hadoop
passwd hadoop

二、安装 JDK

java -version

若未安装：

# Ubuntu
apt install openjdk-8-jdk -y

# CentOS
yum install java-1.8.0-openjdk-devel -y

配置环境变量：

vim /etc/profile

添加：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

生效：

source /etc/profile

三、下载并安装 Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

vim /etc/profile

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

四、配置 SSH 免密登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试：

ssh localhost

五、Hadoop 核心配置（伪分布式）

1. hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. core-site.xml

vim $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

3. hdfs-site.xml

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4. mapred-site.xml

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. yarn-site.xml

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

六、格式化并启动 Hadoop

1. 格式化 HDFS

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

七、验证

jps

应看到：

• NameNode
• DataNode
• ResourceManager
• NodeManager

Web 页面：

• HDFS: http://localhost:9870
• YARN: http://localhost:8088

八、简单测试

hdfs dfs -mkdir /test
hdfs dfs -put file.txt /test
hdfs dfs -ls /test

如果你需要：

• ✅ 多节点集群配置
• ✅ HA（高可用）
• ✅ Hadoop + Spark
• ✅ 生产环境调优

告诉我你的使用场景即可。