HDFS如何在Linux中实现高可用

在Linux中实现HDFS高可用需配置主备NameNode、JournalNode和ZooKeeper，核心步骤如下：

1. 环境准备

   • 至少3台服务器（1主1备NameNode + 1个JournalNode，建议奇数个JournalNode避免脑裂）。
   • 安装JDK、Hadoop，配置SSH免密登录。

2. 配置ZooKeeper（用于故障切换协调）

   • 在所有节点安装ZooKeeper，修改zoo.cfg配置集群节点ID和端口（如server.1=host1:2888:3888），在dataDir目录创建myid文件指定节点ID。
   • 启动ZooKeeper服务：zkServer.sh start。

3. 配置NameNode主备

   • 格式化主NameNode：在主节点执行hdfs namenode -format。
   • 配置hdfs-site.xml：
     • 指定NameNode服务名和RPC/HTTP地址：

       <property><name>dfs.nameservices</name><value>mycluster</value></property>  
       <property><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value></property>  
       <property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>host1:8020</value></property>  
       <property><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>host2:8020</value></property>  
       

     • 配置JournalNode存储路径和共享编辑日志路径：

       <property><name>dfs.journalnode.edits.dir</name><value>/path/to/jn</value></property>  
       <property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://host1:8485;host2:8485;host3:8485/mycluster</value></property>  
       

     • 启用自动故障切换：dfs.ha.automatic-failover.enabled=true。

4. 配置JournalNode

   • 在JournalNode节点创建数据目录（如/opt/hadoop/jn），启动服务：hdfs --daemon start journalnode。

5. 启动服务并验证

   • 启动主备NameNode、DataNode：start-dfs.sh。
   • 使用命令hdfs haadmin -getServiceState nn1查看NameNode状态，模拟主节点故障，验证备节点是否自动切换。

关键组件作用：

• ZooKeeper：监控NameNode状态，触发故障切换。
• JournalNode：存储元数据编辑日志，确保主备NameNode数据一致。
• 配置参数：通过hdfs-site.xml和core-site.xml定义集群拓扑、故障转移策略等。

参考来源：