linux hadoop如何启动集群

linux

小樊

2026-09-22 19:31:53

栏目: 智能运维

在 Linux 环境下启动 Hadoop 集群，通常分为 伪分布式（单节点） 和 完全分布式（多节点） 两种情况。下面按常见流程说明。

一、启动前准备（必做）

1. 配置基础环境

安装 JDK（推荐 JDK 8）

java -version

配置 SSH 免密登录（集群必须）

ssh-keygen -t rsa
ssh-copy-id hadoop@node1
ssh-copy-id hadoop@node2

2. 修改 Hadoop 配置文件

常见配置文件（在 $HADOOP_HOME/etc/hadoop）：

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers（或 slaves）

示例（core-site.xml）：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
  </property>
</configuration>

二、首次启动（仅第一次需要）

1. 格式化 NameNode

hdfs namenode -format

⚠️ 只能格式化一次，否则数据会丢失。

三、启动 Hadoop 集群

方式一：一键启动（推荐）

start-dfs.sh
start-yarn.sh

或（老版本）：

start-all.sh

方式二：分别启动

启动 HDFS

start-dfs.sh

启动 YARN

start-yarn.sh

四、验证集群是否启动成功

1. 查看进程

jps

常见进程：

NameNode
DataNode
ResourceManager
NodeManager
SecondaryNameNode

2. Web 页面

HDFS：http://node1:9870
YARN：http://node1:8088

五、停止集群

stop-dfs.sh
stop-yarn.sh

或：

stop-all.sh

六、常见问题

1. 权限问题

chown -R hadoop:hadoop /opt/hadoop

2. 端口被占用

检查：

netstat -tunlp | grep 9000

3. 无法 SSH 到子节点

检查 /etc/hosts
检查 workers 文件

如果你告诉我：

Hadoop 版本（如 3.3.x）
是否是多台机器
是否已有配置文件

我可以给你更精确的启动命令和配置示例。