Ubuntu HDFS存储如何扩展

Ubuntu HDFS存储扩展主要有**横向扩容（新增节点）和纵向扩容（提升单机硬件）**两种方式，具体操作如下：

一、横向扩容（推荐，线性增加容量）

1. 准备新节点

• 确保新节点与集群节点操作系统、Hadoop版本一致，配置好网络（IP可达、主机名解析）。
• 在新节点安装Hadoop（与集群版本一致），配置JAVA_HOME和HADOOP_HOME环境变量。

2. 配置集群

• 修改NameNode配置：在hdfs-site.xml中添加新节点的DataNode存储路径（如dfs.datanode.data.dir），并更新workers文件（路径：/usr/local/hadoop/etc/hadoop/workers），添加新节点主机名。
• 分发配置：将更新后的配置文件同步到所有节点（可通过scp命令）。

3. 启动新节点

• 在新节点执行：hdfs --daemon start datanode，启动DataNode服务。
• 通过hdfs dfsadmin -report命令查看新节点是否加入集群。

4. 数据均衡

• 执行hdfs balancer -threshold 5（-threshold为负载差异阈值，单位%），将数据均匀分布到新节点。

二、纵向扩容（提升单机存储）

1. 新增硬盘

• 在现有节点通过fdisk或lsblk命令添加新硬盘，格式化并挂载到指定目录（如/data2），修改/etc/fstab实现开机自动挂载。

2. 配置HDFS识别新存储

• 修改hdfs-site.xml中dfs.datanode.data.dir属性，添加新挂载目录（多个目录用逗号分隔），例如：

  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data1,/data2</value>  
  </property>  
  

• 重启DataNode服务使配置生效：sudo systemctl restart hadoop-datanode。

注意事项

• 数据安全：操作前备份重要数据，避免误操作导致数据丢失。
• 机架感知：确保新节点与集群其他节点位于不同机架，避免单点故障。
• 版本兼容：横向扩容时，新节点Hadoop版本需与集群一致。

参考来源：