CentOS HDFS存储空间如何扩容

CentOS环境下HDFS存储空间扩容指南

HDFS存储空间扩容主要分为**横向扩容（添加新DataNode）和纵向扩容（扩展现有节点存储）**两种方式，以下是具体操作步骤及注意事项：

一、横向扩容：添加新DataNode节点

横向扩容是通过增加集群中的DataNode数量来扩展存储容量，适用于需要大规模提升存储能力的场景，也是推荐的首选方式。

1. 准备新节点

环境准备：在新节点上安装与现有集群版本一致的Hadoop（如Hadoop 3.x），并配置好Java环境（JDK 8+）。
网络与认证：确保新节点与现有集群节点（NameNode、DataNode）处于同一网络，能正常通信；配置SSH无密码登录（使用ssh-keygen -t rsa生成密钥，并将公钥复制到所有集群节点）。
配置一致性：将现有集群的Hadoop配置文件（core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml）复制到新节点的$HADOOP_HOME/etc/hadoop目录下，确保配置一致（如fs.defaultFS、dfs.replication等参数）。

2. 配置新节点

修改slaves文件：在NameNode节点的$HADOOP_HOME/etc/hadoop/slaves文件中，添加新节点的主机名或IP地址（每行一个），用于集群启动时自动启动新节点的DataNode服务。
分发slaves文件：将更新后的slaves文件复制到所有集群节点的$HADOOP_HOME/etc/hadoop目录下。

3. 启动新节点服务

启动DataNode：在新节点上执行hadoop-daemon.sh start datanode（或直接使用start-dfs.sh，若slaves文件配置正确，会自动启动新节点的DataNode）。
启动NodeManager（可选）：若集群启用了YARN，还需执行yarn-daemon.sh start nodemanager启动NodeManager服务。

4. 验证节点加入

查看集群状态：在NameNode节点上执行hdfs dfsadmin -report命令，检查“Live DataNodes”列表中是否包含新节点的主机名或IP地址。
Web界面验证：访问NameNode的Web界面（默认http://<namenode-ip>:9870），在“Datanodes”页面查看新节点的状态（应为“Live”）。

二、纵向扩容：扩展现有节点存储空间

纵向扩容是通过增加现有DataNode的本地存储空间来扩展HDFS容量，适用于已有节点有剩余物理磁盘空间的场景。

1. 添加新硬盘

物理添加：若为物理服务器，关闭服务器并添加新硬盘；若为虚拟机，通过虚拟化管理工具（如VMware、VirtualBox）扩展现有虚拟磁盘。
分区与格式化：使用fdisk /dev/sdb（假设新硬盘为/dev/sdb）对新硬盘进行分区（创建主分区sdb1），然后使用mkfs.xfs /dev/sdb1（或mkfs.ext4，根据系统需求）格式化分区。

2. 挂载新硬盘

创建挂载点：使用mkdir -p /data/newdisk创建新挂载点目录。
临时挂载：执行mount /dev/sdb1 /data/newdisk将新分区挂载到指定目录。
永久挂载：编辑/etc/fstab文件，添加一行/dev/sdb1 /data/newdisk xfs defaults 0 0（若使用XFS文件系统），确保系统重启后自动挂载。

3. 配置HDFS识别新存储目录

修改hdfs-site.xml：在所有DataNode节点的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中，找到dfs.datanode.data.dir属性（定义DataNode数据存储目录），添加新挂载点的路径（多个目录用逗号分隔）。例如：
```
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/hadoop/data,/data/newdisk</value>
</property>
```
重启DataNode：在DataNode节点上执行hadoop-daemon.sh stop datanode停止服务，再执行hadoop-daemon.sh start datanode启动服务，使配置生效。

4. 扩展LVM卷（若使用LVM管理磁盘）

创建物理卷：若新硬盘未分区，可使用pvcreate /dev/sdb将新硬盘创建为物理卷。
扩展卷组：使用vgextend centos /dev/sdb（假设卷组名为centos）将物理卷添加到现有卷组。
扩展逻辑卷：使用lvextend -l +100%FREE /dev/mapper/centos-root将卷组的所有空闲空间扩展到逻辑卷（逻辑卷路径可通过lvdisplay查看）。
扩展文件系统：使用xfs_growfs /dev/mapper/centos-root（XFS文件系统）或resize2fs /dev/mapper/centos-root（EXT4文件系统）扩展文件系统以使用新增空间。

三、扩容后优化与验证

1. 触发数据平衡

添加新节点或扩展存储后，建议执行数据平衡操作，使数据均匀分布在所有DataNode上，避免负载不均衡。执行以下命令：

start-balancer.sh

使用hdfs balancer -status监控平衡进度（默认阈值为10%，即节点存储使用率差异不超过10%时停止平衡）。

2. 验证扩容效果

查看存储使用：执行hdfs dfsadmin -report，检查集群总容量、可用容量是否增加，以及新节点的存储使用情况。
测试存储功能：在HDFS中创建大文件（如hadoop fs -put /local/largefile /test），验证文件是否能正常写入新存储空间。

3. 调整副本数（可选）

若添加了多个新节点，可适当降低dfs.replication（副本数）的值（如从3调整为2），以节省存储空间。修改hdfs-site.xml中的dfs.replication属性，然后重启HDFS服务：

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

注意事项

数据备份：扩容前务必备份重要数据，避免操作失误导致数据丢失。
低峰操作：尽量在业务低峰期进行扩容，减少对集群性能的影响。
版本兼容：确保新节点的Hadoop版本与现有集群一致，避免兼容性问题。
监控性能：扩容后使用监控工具（如Prometheus+Grafana、Ganglia）监控集群性能，及时发现并解决问题。