Linux HDFS集群搭建步骤

搭建一个Linux HDFS集群涉及多个步骤，以下是一个基本的指南，假设你有至少三个Linux节点（一个NameNode和两个DataNode）。

准备工作

1. 准备节点：至少需要准备3台Linux服务器，分别作为NameNode和DataNode。
2. 网络配置：确保所有节点在同一个网络中，并且可以互相通信。修改每台机器的 /etc/hosts 文件，添加主机名和IP地址的映射。
3. 安装Java环境：HDFS需要Java运行环境，安装OpenJDK或Oracle JDK。
4. 关闭防火墙：临时关闭防火墙以便进行配置，并确保防火墙不会在重启后自动启动。
5. 配置SSH免密登录：在所有节点之间配置SSH免密登录，以便无需密码即可互相访问。

安装Hadoop

1. 下载并解压Hadoop：从Apache Hadoop官网下载最新版本的Hadoop，然后解压到合适的目录。例如：

   wget https://downloads.apache.org/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
   tar -xzvf hadoop-3.3.0.tar.gz -C /usr/local/
   

2. 配置环境变量：编辑 /etc/profile 文件，添加Hadoop的路径和环境变量。例如：

   export HADOOP_HOME=/usr/local/hadoop-3.3.0
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后运行以下命令使配置生效：

   source /etc/profile
   

配置Hadoop

1. 修改配置文件：
   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/path/to/namenode/data</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/path/to/datanode/data</value>
         </property>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
     </configuration>
     

   • slaves：在所有DataNode节点上编辑 /etc/hosts 文件，添加NameNode的主机名。

格式化NameNode

在NameNode节点上执行以下命令格式化文件系统：

hdfs namenode -format

启动HDFS集群

1. 启动NameNode和SecondaryNameNode：

   start-dfs.sh
   

2. 启动DataNode：在其他DataNode节点上启动HDFS服务。

   start-dfs.sh datanode
   

验证集群

1. 检查进程：使用 jps 命令检查NameNode和DataNode是否正在运行。
2. 访问Web界面：在浏览器中访问NameNode的Web界面（默认是 http://namenode:50070）查看集群状态。

高可用性配置（可选）

对于生产环境，建议配置HDFS的高可用性（HA）。这通常涉及设置Secondary NameNode、ZooKeeper以及故障转移控制器（ZKFC）。具体步骤可以参考Hadoop官方文档或相关教程。

请注意，以上步骤是一个基本的指南，具体细节可能会根据不同的Hadoop版本和Linux发行版有所变化。建议参考Hadoop官方文档以获取更详细的指导。