在CentOS上搭建HDFS集群需要经过以下几个步骤：
1. 准备工作
- 创建虚拟机：下载CentOS镜像并安装虚拟机，建议配置适当的CPU、内存和磁盘空间。
- 网络配置：设置虚拟机的网络模式为NAT，并配置静态IP地址和主机名。
2. 安装JDK
- 上传JDK：将JDK安装包上传到服务器。
- 解压并配置环境变量：解压JDK并配置环境变量，例如
JAVA_HOME和PATH。
3. 配置Hadoop环境
- 创建目录：创建用于存放Hadoop文件的目录，例如
/bigdata。
- 上传Hadoop安装包：将Hadoop安装包上传到服务器并解压到指定目录。
- 修改配置文件：
- hadoop-env.sh：设置
JAVA_HOME。
- core-site.xml：配置HDFS的默认文件系统和NameNode地址。
- hdfs-site.xml：配置HDFS副本数量和其他相关设置。
4. 集群搭建步骤
- 修改主机名和hosts映射：在每台机器上修改主机名和
/etc/hosts文件中的IP地址映射。
- 配置时间同步：确保所有机器的时间同步，以避免时间差异导致的问题。
- 关闭防火墙：关闭防火墙以允许Hadoop服务通信。
- 配置免密登录认证：配置免密登录以便在集群节点之间无缝切换。
5. 启动Hadoop服务
- 格式化NameNode：在NameNode上执行格式化命令。
- 启动Hadoop服务：使用
start-dfs.sh和start-yarn.sh脚本启动HDFS和YARN服务。
6. 验证集群状态
- 检查HDFS状态：使用
hdfs dfsadmin -report命令检查HDFS集群的状态，确保所有DataNode都正常运行。
请注意，以上步骤提供了一个基本的指南，具体配置可能会根据实际需求和环境有所不同。在实际操作中，还需要考虑安全性、网络配置、数据备份等因素。此外，由于Hadoop和CentOS的版本不断更新，建议查阅最新的官方文档以获取最准确的信息。
