linux hadoop怎么启动集群

下面以 Linux 环境下使用 Apache Hadoop（以 Hadoop 3.x 为例） 来说明如何启动 Hadoop 集群。假设你已经完成了 Hadoop 安装和配置。

一、前提条件

1. 已安装 JDK（建议 JDK 8 或 11）
2. 已配置好 JAVA_HOME
3. 已配置 SSH 免密登录（NameNode → 所有节点）
4. 已修改 Hadoop 配置文件：
   • core-site.xml
   • hdfs-site.xml
   • mapred-site.xml
   • yarn-site.xml
   • workers（或 slaves）

二、启动顺序（非常重要）

必须先启动 HDFS，再启动 YARN

三、启动 HDFS（分布式文件系统）

1️⃣ 首次启动需要格式化 NameNode

⚠️ 只执行一次，不能重复执行

hdfs namenode -format

2️⃣ 启动 HDFS

在 NameNode 节点 执行：

start-dfs.sh

启动后进程：

• NameNode
• DataNode
• SecondaryNameNode（如有配置）

四、启动 YARN（资源管理）

在 ResourceManager 节点 执行：

start-yarn.sh

启动后进程：

• ResourceManager
• NodeManager

五、一键启动（不推荐新手，但可用）

如果你把 HDFS 和 YARN 都配置好了：

start-all.sh

⚠️ 官方已不推荐，建议分开启动。

六、验证集群是否启动成功

1️⃣ 查看进程

jps

NameNode 应看到：

NameNode
SecondaryNameNode

DataNode 应看到：

DataNode

ResourceManager：

ResourceManager

NodeManager：

NodeManager

2️⃣ Web 页面查看

• HDFS：

  http://namenode-ip:9870
  

• YARN：

  http://resourcemanager-ip:8088
  

七、停止集群

stop-dfs.sh
stop-yarn.sh

或：

stop-all.sh

八、常见问题

❌ SSH 不通 → 配置免密
❌ JAVA_HOME 未设置 → 编辑 hadoop-env.sh
❌ 端口被占用 → 检查防火墙或配置端口
❌ DataNode 不启动 → 检查 clusterID 是否一致

如果你愿意，可以告诉我：

• Hadoop 版本（2.x / 3.x）
• 单机 / 伪分布式 / 完全分布式
• 具体报错信息

我可以给你针对性步骤或排错方案。