温馨提示×

hadoop在linux如何启动

小樊
69
2026-09-10 11:52:21
栏目: 智能运维

在 Linux 上启动 Hadoop,通常分为 单机模式、伪分布式模式、完全分布式模式。下面以**最常用、最典型的「伪分布式模式」**为例,说明启动步骤(Hadoop 3.x 为例,2.x 类似)。


一、前置准备(只需做一次)

1. 安装 JDK

Hadoop 依赖 Java:

java -version

如果没有 Java:

sudo apt install openjdk-8-jdk   # Ubuntu
# 或
sudo yum install java-1.8.0-openjdk-devel

2. 配置 SSH 免密登录

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost   # 测试是否能无密码登录

3. 下载并解压 Hadoop

tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /usr/local/hadoop

4. 配置环境变量

vi ~/.bashrc

添加:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效:

source ~/.bashrc

二、修改 Hadoop 配置文件

进入配置目录:

cd $HADOOP_HOME/etc/hadoop

1. core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2. hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3. mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

三、启动 Hadoop

1. 格式化 HDFS(仅第一次)

hdfs namenode -format

2. 启动 HDFS

start-dfs.sh

3. 启动 YARN

start-yarn.sh

或者一条命令全启动(不推荐新手):

start-all.sh

四、验证是否启动成功

jps

应看到:

  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager
  • SecondaryNameNode(可选)

浏览器访问:

  • HDFS: http://localhost:9870
  • YARN: http://localhost:8088

五、停止 Hadoop

stop-dfs.sh
stop-yarn.sh

六、常见问题

  • Permission denied (publickey) → SSH 没配好
  • JAVA_HOME not set → 在 hadoop-env.sh 中设置:
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    
  • 端口被占用 → 修改配置文件中的端口

如果你告诉我:

  • Hadoop 版本(2.x / 3.x)
  • 单机 / 集群
  • 报错信息

我可以给你更精确的启动方案。

0 踩