搭建CentOS HDFS集群是一个相对复杂的过程，需要多个步骤和配置。以下是一个基本的搭建步骤指南：
1. 环境准备
- 硬件要求：确保每个节点有足够的内存和磁盘空间。
- 网络配置：所有节点应配置静态IP地址，并设置正确的网络参数。
2. 安装Java环境
- 在所有节点上安装Java，推荐使用OpenJDK 8。
3. 配置SSH免密登录
- 在所有节点上生成SSH密钥对，并将公钥复制到其他节点的
~/.ssh/authorized_keys文件中，以实现无密码登录。
4. 下载并解压Hadoop
- 从Apache Hadoop官网下载对应版本的Hadoop安装包，并解压到指定目录。
5. 配置Hadoop环境变量
- 编辑
/etc/profile文件，添加Hadoop的路径和环境变量，然后执行source /etc/profile使其生效。
6. 配置Hadoop配置文件
- core-site.xml：配置默认文件系统和临时目录。
- hdfs-site.xml：配置HDFS相关参数，如数据节点目录、副本数、NameNode地址等。
- mapred-site.xml：配置MapReduce框架相关参数。
- yarn-site.xml：配置YARN相关参数。
7. 初始化NameNode
- 在NameNode节点上执行格式化命令：
hdfs namenode -format
8. 启动HDFS集群
- 在NameNode节点上执行启动命令：
sbin/start-dfs.sh
9. 验证集群状态
- 使用以下命令检查HDFS集群状态：
hdfs dfsadmin -report
10. 配置高可用性（可选）
- 为了实现高可用性，需要配置ZooKeeper和JournalNode，并设置多个NameNode以实现故障转移。
请注意，以上步骤是一个基本的指南，具体配置可能会根据实际环境和需求有所不同。在搭建过程中，还需要注意防火墙的设置、SELinux的配置、时间同步等问题。建议参考Hadoop官方文档和相关的技术博客，以获取更详细的指导和更准确的配置信息。
