温馨提示×

linux hadoop如何启动

小樊
83
2026-09-25 18:54:59
栏目: 智能运维

在 Linux 上启动 Hadoop,通常分为 单机/伪分布式 和 完全分布式 两种情况。下面以最常见的 Hadoop 3.x 伪分布式模式 为例说明启动步骤。


一、启动前准备

  1. 已安装 JDK
java -version
  1. 已配置 SSH 免密登录(伪分布式必须)
ssh-keygen -t rsa
ssh-copy-id localhost
  1. 已解压 Hadoop 并配置环境变量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

二、核心配置文件(示例)

1️⃣ core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2️⃣ hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3️⃣ mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4️⃣ yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

三、首次启动(必须格式化)

hdfs namenode -format

四、启动 Hadoop

✅ 启动 HDFS

start-dfs.sh

✅ 启动 YARN

start-yarn.sh

✅ 一键启动(常用)

start-all.sh

五、验证是否启动成功

jps

应看到:

  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager
  • SecondaryNameNode

浏览器访问:

  • HDFS: http://localhost:9870
  • YARN: http://localhost:8088

六、停止 Hadoop

stop-all.sh

七、常见问题

  • Permission denied (publickey) → SSH 未配置好
  • JAVA_HOME not set → 在 hadoop-env.sh 中设置
export JAVA_HOME=/usr/java/jdk1.8.0_xxx

如果你是 完全分布式集群 或 指定 Hadoop 版本(如 2.x / 3.x),可以告诉我,我给你对应启动方式。

0 踩