CentOS HDFS配置步骤解析

以下是在CentOS上配置HDFS的核心步骤解析，基于单节点基础配置，高可用配置可在此基础上扩展：

一、环境准备

1. 安装Java

   • CentOS 7/8默认仓库安装OpenJDK 8：

     sudo yum install -y java-1.8.0-openjdk-devel  
     

   • 验证安装：java -version。

2. 配置网络与主机名

   • 修改/etc/hosts，确保节点间IP与主机名可解析（如192.168.1.100 namenode）。
   • （可选）关闭防火墙或开放Hadoop端口（9000、50070等）：

     sudo systemctl stop firewalld  
     sudo systemctl disable firewalld  
     ```。  
     
     

二、安装Hadoop

1. 下载并解压

   • 从Apache官网下载Hadoop（如3.3.1版本），解压至指定目录（如/usr/local/hadoop）：

     wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz  
     tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/  
     sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop  
     ```。  
     
     

2. 配置环境变量

   • 编辑/etc/profile.d/hadoop.sh，添加：

     export HADOOP_HOME=/usr/local/hadoop  
     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
     

   • 使配置生效：source /etc/profile.d/hadoop.sh。

三、配置HDFS核心文件

1. core-site.xml

   • 指定NameNode地址和临时目录：

     <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://namenode:9000</value>  
     </property>  
     <property>  
       <name>hadoop.tmp.dir</name>  
       <value>/usr/local/hadoop/tmp</value>  
     </property>  
     ```。  
     
     

2. hdfs-site.xml

   • 配置副本数、NameNode和DataNode数据目录：

     <property>  
       <name>dfs.replication</name>  
       <value>3</value>  
     </property>  
     <property>  
       <name>dfs.namenode.name.dir</name>  
       <value>/usr/local/hadoop/data/namenode</value>  
     </property>  
     <property>  
       <name>dfs.datanode.data.dir</name>  
       <value>/usr/local/hadoop/data/datanode</value>  
     </property>  
     ```。  
     
     

四、格式化与启动

1. 格式化NameNode

   • 首次启动前执行（仅在NameNode节点操作）：

     hdfs namenode -format  
     ```。  
     
     

2. 启动HDFS服务

   • 启动命令：start-dfs.sh（需在NameNode节点执行）。
   • 验证状态：jps查看NameNode、DataNode进程是否运行。

五、验证配置

• 命令行验证：

  hdfs dfs -mkdir /user/test  # 创建目录  
  hdfs dfs -put /local/file /user/test  # 上传文件  
  hdfs dfs -ls /user/test  # 查看文件  
  ```。  
  

• Web界面验证：
  访问http://namenode:50070（默认端口），查看集群状态。

六、高可用配置（可选）

若需搭建高可用集群，需额外配置：

1. ZooKeeper集群：用于监控NameNode状态，实现故障自动切换。
2. JournalNode：存储NameNode元数据编辑日志，确保数据一致性（需部署奇数个节点，如3个）。
3. 修改hdfs-site.xml：添加dfs.ha.namenodes、dfs.namenode.shared.edits.dir等参数，启用自动故障转移。

注意事项

• 权限问题：确保存储目录（如/usr/local/hadoop/data）权限正确，建议使用hadoop用户运行服务。
• 多节点配置：需在所有节点的/etc/hosts中配置主机名映射，并在slaves文件中列出DataNode主机名。

以上步骤参考自，可根据实际需求调整配置参数。