centos hdfs如何加节点

centos

小樊

2026-09-24 16:46:27

栏目: 智能运维

在 CentOS 上向 HDFS 集群添加 DataNode（节点），一般步骤如下（假设你已有可运行的 Hadoop 集群）：

一、准备工作（新节点）

1. 系统准备

在新 CentOS 节点上：

配置 主机名

hostnamectl set-hostname hadoop-newnode

配置 /etc/hosts（所有节点都要能互相解析）

192.168.1.10 namenode
192.168.1.11 datanode1
192.168.1.12 hadoop-newnode

关闭防火墙（或放行端口）

systemctl stop firewalld
systemctl disable firewalld

配置 NTP 时间同步

yum install -y ntp
systemctl enable ntpd
systemctl start ntpd

2. 创建 hadoop 用户（可选但推荐）

useradd hadoop
passwd hadoop

3. 配置 SSH 免密登录

在 NameNode 上：

ssh-copy-id hadoop-newnode

4. 安装 Java

yum install -y java-1.8.0-openjdk
java -version

二、安装并配置 Hadoop

1. 拷贝 Hadoop 目录

从已有节点拷贝：

scp -r /opt/hadoop hadoop@hadoop-newnode:/opt/

或重新解压相同版本 Hadoop。

2. 配置环境变量

vi ~/.bashrc

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc

3. 修改 slaves / workers 文件

（Hadoop 3 用 workers）

在 NameNode 上：

vi $HADOOP_HOME/etc/hadoop/workers

添加：

hadoop-newnode

三、启动新 DataNode

方法一：直接启动（推荐）

在新节点执行：

hdfs --daemon start datanode

方法二：从 NameNode 启动全部

start-dfs.sh

四、验证节点是否加入

1. Web UI

http://namenode:9870

→ Datanodes 中查看新节点

2. 命令行

hdfs dfsadmin -report

五、可选：数据再均衡

新节点加入后，数据不会立刻均衡：

hdfs balancer

六、常见问题

端口不通：检查 50010 / 50020 / 9870
免密失败：重新 ssh-copy-id
版本不一致：Hadoop 版本必须一致
datanode UUID 冲突：不要直接拷贝 data 目录

如果你用的是 CDH / Ambari / Hadoop 3.x，步骤会略有不同，可以告诉我你用的 Hadoop 版本和管理方式，我可以给你更精确的方案。