linux hdfs配置怎么扩容

在 Linux 环境下对 HDFS 进行扩容，通常分为 横向扩容（加 DataNode） 和 纵向扩容（加磁盘） 两种场景。下面按实际运维流程说明。

一、HDFS 扩容常见方式

方式一：增加 DataNode（最常用）

适用场景：集群容量不足，新增机器

1. 新节点准备

• 安装同版本 JDK
• 安装同版本 Hadoop
• 配置主机名、hosts、SSH 免密

2. 同步 Hadoop 配置

从已有节点拷贝：

scp -r $HADOOP_HOME/etc/hadoop/* newnode:$HADOOP_HOME/etc/hadoop/

确保以下配置一致：

• core-site.xml
• hdfs-site.xml
• workers（或 slaves）

3. 启动 DataNode

hdfs --daemon start datanode

4. 验证

hdfs dfsadmin -report

看到新 DataNode 即成功。

方式二：给现有 DataNode 加磁盘（纵向扩容）

1. 挂载新磁盘

mkfs.ext4 /dev/sdb
mkdir /data2
mount /dev/sdb /data2

2. 修改 hdfs-site.xml

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs,datanode,/data2/dfs,datanode</value>
</property>

3. 重启 DataNode

hdfs --daemon stop datanode
hdfs --daemon start datanode

二、NameNode 是否需要扩容？

• NameNode 不存数据，只存元数据
• 如果：
  • 文件数过多（小文件多）
  • NameNode 内存压力大
• 可：
  • 增加 NameNode 内存
  • 使用 HDFS Federation
  • 合并小文件

三、扩容后注意事项

1. 数据均衡（非常重要）

新节点加入后，HDFS 不会自动均衡：

hdfs balancer

可选参数：

hdfs balancer -threshold 5

2. 副本数配置

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

3. 容量确认

hdfs dfs -df -h

四、常见问题

Q1：新节点没显示？

• 防火墙
• SSH 不通
• workers 文件未配置
• 时间不同步（NTP）

Q2：磁盘加了但容量没变？

• 没改 dfs.datanode.data.dir
• DataNode 没重启

五、总结一句话

HDFS 扩容 = 加节点 / 加磁盘 + 重启 DataNode + 执行 balancer

如果你愿意，可以告诉我：

• Hadoop 版本
• 是 CDH / HDP / 原生 Hadoop
• 当前集群规模

我可以给你一份 针对你环境的扩容步骤。