linux hadoop怎扩容

在 Linux 环境下对 Hadoop 进行扩容，通常分为 HDFS 存储扩容 和 集群节点扩容 两种场景。下面按常见做法给你一个清晰流程。

一、HDFS 存储扩容（加磁盘，不增节点）

1. 添加新磁盘并挂载

# 查看磁盘
lsblk

# 格式化（示例）
mkfs.ext4 /dev/sdb

# 创建挂载目录
mkdir -p /data/hdfs/datanode2

# 挂载
mount /dev/sdb /data/hdfs/datanode2

编辑 /etc/fstab 防止重启丢失。

2. 修改 DataNode 配置

方式一：多目录（推荐）

编辑 hdfs-site.xml：

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data/hdfs/datanode,/data/hdfs/datanode2</value>
</property>

方式二：只换目录（不推荐） 直接修改原目录路径。

3. 重启 DataNode

hadoop-daemon.sh stop datanode
hadoop-daemon.sh start datanode

或（HA 环境）：

hdfs --daemon stop datanode
hdfs --daemon start datanode

4. 验证

hdfs dfsadmin -report

应看到新增容量。

二、Hadoop 集群扩容（新增节点）

1. 新节点准备

• 安装相同版本 JDK
• 安装 Hadoop
• 配置：
  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
• 配置 SSH 免密
• 修改 /etc/hosts

2. 添加到集群

在 NameNode 的 workers（旧版 slaves）文件中添加：

new-node-ip

3. 启动新节点

hdfs --daemon start datanode
yarn --daemon start nodemanager

4. 数据再平衡（重要）

hdfs balancer

可指定带宽：

hdfs dfsadmin -setBalancerBandwidth 104857600

三、YARN 资源扩容

只要新节点启动了 NodeManager，YARN 自动识别。

验证：

yarn node -list

四、常见注意事项

• ❗ 不要直接删 dfs.data.dir
• ❗ 扩容后建议跑 balancer
• ✅ 生产环境低峰期操作
• ✅ HA 环境注意 JournalNode / ZKFC

如果你能告诉我：

• Hadoop 版本（2.x / 3.x）
• 是否 HA
• 是加磁盘还是加机器

我可以给你更精确的命令示例。