Debian上Hadoop高可用性配置技巧

在Debian上配置Hadoop高可用性需重点关注NameNode、ResourceManager的高可用性及ZooKeeper协调，以下是核心技巧和步骤：

1. 环境准备
   • 安装JDK并配置SSH免密登录，确保节点间无密码通信。
2. 配置ZooKeeper集群
   • 安装ZooKeeper并编辑zoo.cfg，设置集群节点地址（如server.1=node1:2181等），启动服务。
3. 配置HDFS高可用性
   • NameNode HA：
     • 在hdfs-site.xml中设置dfs.nameservices和dfs.ha.namenodes，指定主备NameNode的RPC和HTTP地址。
     • 配置dfs.namenode.shared.edits.dir为QJM共享目录（如qjournal://node1:8485;node2:8485/mycluster），确保元数据同步。
     • 启用自动故障转移：dfs.ha.automatic-failover.enabled=true，并设置dfs.ha.fencing.methods（如sshfence）防止脑裂。
   • JournalNode配置：在多个节点创建共享存储目录（如/var/lib/hadoop/journalnode），启动JournalNode服务。
4. 配置YARN高可用性
   • 在yarn-site.xml中配置ResourceManager主备模式，通过ZooKeeper实现故障转移。
5. 启动与验证
   • 格式化主NameNode：hdfs namenode -format，启动HDFS和YARN集群：start-dfs.sh、start-yarn.sh。
   • 使用hdfs haadmin -report检查NameNode状态，验证故障切换功能。
6. 监控与维护
   • 部署Ambari或Prometheus等工具监控集群状态，定期检查日志和数据副本。

关键参数说明：

• fs.defaultFS：指定HDFS的ZooKeeper命名空间。
• dfs.ha.automatic-failover.enabled：启用自动故障转移。
• dfs.journalnode.edits.dir：JournalNode存储编辑日志的本地路径。

参考来源：