linux hadoop怎么管理节点

在 Linux 环境下，Hadoop 的节点管理主要包括 NameNode / ResourceManager 等主节点 和 DataNode / NodeManager 等从节点 的启停、状态查看、扩容缩容、故障处理等。下面按常见管理场景给你系统讲一下。

一、Hadoop 节点角色简介

类型	角色	说明
主节点	NameNode	HDFS 元数据管理
主节点	ResourceManager	YARN 资源调度
从节点	DataNode	存储数据
从节点	NodeManager	执行任务

二、节点的启停管理（最常用）

1️⃣ 使用官方脚本（推荐）

# 启动所有节点
start-dfs.sh
start-yarn.sh

# 或一键启动
start-all.sh

# 停止所有节点
stop-dfs.sh
stop-yarn.sh
stop-all.sh

脚本位置：$HADOOP_HOME/sbin/

2️⃣ 单独启停某个角色

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

适合单节点维护、排错

三、查看节点状态

1️⃣ HDFS 节点状态

hdfs dfsadmin -report

示例输出重点：

Live datanodes
Dead datanodes
容量、使用率

Web 页面：

http://namenode:9870

2️⃣ YARN 节点状态

yarn node -list

Web 页面：

http://resourcemanager:8088

四、新增 DataNode / NodeManager（扩容）

1️⃣ 新节点准备

安装相同版本 JDK
安装 Hadoop
配置：

$HADOOP_HOME/etc/hadoop/
- core-site.xml
- hdfs-site.xml
- yarn-site.xml

2️⃣ 配置 workers（旧版 slaves）

# workers 文件
master
node1
node2
newnode

3️⃣ 启动新节点

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

✅ 不需要重启 NameNode

五、下线节点（缩容 / 维护）

1️⃣ 配置排除列表

# hdfs-site.xml
<property>
  <name>dfs.hosts.exclude</name>
  <value>/opt/hadoop/etc/hadoop/excludes</value>
</property>

# excludes 文件
node2

2️⃣ 刷新节点

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

节点状态变为 Decommissioning → Decommissioned

六、节点故障处理

常见情况

DataNode 宕机
网络中断
磁盘损坏

处理思路

查看日志

$HADOOP_HOME/logs/

重启节点

hadoop-daemon.sh stop datanode
hadoop-daemon.sh start datanode

HDFS 会自动复制副本

七、常用管理命令汇总

hdfs dfsadmin -report
hdfs fsck /
yarn node -list
yarn application -list

八、管理建议（生产环境）

✅ 使用 SSH 免密 ✅ 主节点和从节点版本一致
✅ 定期 fsck 检查
✅ 监控 NameNode / ResourceManager

如果你愿意，我可以：

给你一套 Hadoop 集群节点管理脚本
按 CDH / HDP / 原生 Hadoop 分别讲
帮你画一张 节点管理流程图

你现在是 学习 / 实验 / 生产环境？