在Ubuntu上搭建HDFS集群涉及多个步骤，包括安装Hadoop、配置Hadoop环境变量、设置HDFS相关配置文件以及启动HDFS集群。以下是一个基本的步骤指南：
环境准备
- 确保集群中的节点之间可以相互通信，配置好Java环境。
- 安装好SSH，并配置免密登录，以便节点之间可以方便地通信。
- 下载并解压Hadoop：从Apache Hadoop官网下载对应版本的安装包。解压安装包到每个节点上，并配置Hadoop的环境变量。
配置HDFS
- 修改配置文件：
- core-site.xml：配置Hadoop核心配置文件。
- hdfs-site.xml：配置HDFS核心配置文件。
- yarn-site.xml：配置YARN相关配置。
- mapred-site.xml：配置MapReduce相关配置。
SSH免密登录
- 配置SSH信任，免密登录，确保在集群中各节点可以相互通信。
格式化NameNode
- 在NameNode节点上运行
hadoop namenode -format命令，初始化HDFS文件系统。
启动HDFS集群
- 启动NameNode和SecondaryNameNode：在NameNode节点上执行
start-dfs.sh。
- 启动YARN ResourceManager和NodeManager：在ResourceManager节点上执行
start-yarn.sh。
验证集群状态
- 使用以下命令检查HDFS和YARN的状态：
hdfs dfsadmin -reportyarn node -list
注意事项
- 在配置过程中，确保所有节点的配置文件保持一致。
- 根据实际集群规模和工作负载需求，调整HDFS的配置参数，如块大小、副本数量等，以优化性能。
请注意，以上步骤提供了一个基本的HDFS集群搭建流程，具体配置可能会根据实际需求和集群规模有所不同。在实际操作中，建议参考Hadoop官方文档，并根据实际情况进行调整和优化。
