linux hdfs配置怎样扩容

在 Linux 环境下对 HDFS 进行扩容，通常分为 横向扩容（加 DataNode） 和 纵向扩容（加磁盘） 两种场景。下面按常见生产做法说明。

一、HDFS 扩容总体思路

HDFS 本身不需要手动分配空间，只要：

新增节点（DataNode）
或已有节点新增磁盘
并正确配置 dfs.datanode.data.dir

NameNode 会自动感知并使用新空间。

二、方式一：新增 DataNode（横向扩容，最常用）

1. 准备新机器

安装相同版本的 JDK
安装相同版本的 Hadoop
配置主机名、hosts、SSH 免密

2. 同步 Hadoop 配置

从已有节点拷贝：

scp -r $HADOOP_HOME newnode:/path/
scp /etc/hosts newnode:/etc/hosts

确保以下配置一致：

core-site.xml
hdfs-site.xml
workers（或 slaves）

3. 修改 workers 文件

# workers
namenode
datanode1
datanode2
newnode

4. 启动 DataNode

在新节点执行：

hdfs --daemon start datanode

5. 验证

hdfs dfsadmin -report

看到新 DataNode 即成功。

三、方式二：已有 DataNode 增加磁盘（纵向扩容）

1. 挂载新磁盘

mkfs.ext4 /dev/sdb
mkdir /data2
mount /dev/sdb /data2

写入 /etc/fstab 防止重启丢失。

2. 修改 hdfs-site.xml

<property>
  <name>dfs.datanode.data.dir</name>
  <value>/data1/dfs/data,/data2/dfs/data</value>
</property>

3. 创建目录并授权

mkdir -p /data2/dfs/data
chown -R hdfs:hadoop /data2/dfs/data

4. 重启 DataNode

hdfs --daemon stop datanode
hdfs --daemon start datanode

四、扩容后常见问题

1. 容量没马上增加？

等几分钟
执行：

hdfs dfsadmin -refreshNodes

2. 数据不均衡？

执行 Balancer：

hdfs balancer
# 或限制带宽
hdfs balancer -threshold 5

3. 副本数影响可用空间

dfs.replication=3

实际可用空间 ≈ 总容量 / 副本数

五、NameNode 需要扩容吗？

NameNode 不存数据块内容
只在元数据增长极大时才考虑：
- 增加内存
- 使用 HA + Federation

六、最小可行扩容步骤总结

✅ 加机器 / 加磁盘
✅ 改 dfs.datanode.data.dir
✅ 启动 DataNode
✅ dfsadmin -report 验证
✅ 可选：balancer

如果你能提供：

Hadoop 版本
是否 HA
是加节点还是加盘

我可以给你更精确的配置示例。