Debian HDFS如何实现高可用性

Debian上实现HDFS高可用

架构与原理

• 通过部署Active/Standby双NameNode，配合ZooKeeper与**ZKFailoverController（ZKFC）**实现自动故障转移，消除单点故障。
• 使用Quorum Journal Manager（QJM）共享编辑日志：由2N+1个JournalNode组成，写入需获得多数（≥N+1）确认，保证元数据不丢并可快速切换。
• 所有DataNode同时向两台NameNode上报块信息，Standby保持与Active一致的元数据状态，随时可接管。
• 高可用模式下不再依赖SecondaryNameNode（其仅用于合并检查点，无法自动切换）。

部署步骤

• 环境与角色规划
  • 准备至少3台Debian节点：建议nn1/nn2作为NameNode，jn1/jn2/jn3作为JournalNode，若干DataNode。
  • 安装Java 8+与Hadoop 3.x，配置SSH免密、主机名解析与防火墙放行（如端口8020/50070/8485/2181）。
• 搭建ZooKeeper集群（至少3节点）
  • 配置zoo.cfg：dataDir、clientPort=2181、server.X=host:2888:3888；逐台启动ZK服务。
• 配置HDFS HA（关键项）
  • core-site.xml：
    • fs.defaultFS=hdfs://mycluster
    • ha.zookeeper.quorum=zk1:2181,zk2:2181,zk3:2181
  • hdfs-site.xml：
    • dfs.nameservices=mycluster
    • dfs.ha.namenodes.mycluster=nn1,nn2
    • dfs.namenode.rpc-address.mycluster.nn1=nn1:8020；dfs.namenode.rpc-address.mycluster.nn2=nn2:8020
    • dfs.namenode.http-address.mycluster.nn1=nn1:50070；dfs.namenode.http-address.mycluster.nn2=nn2:50070
    • dfs.namenode.shared.edits.dir=qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster
    • dfs.client.failover.proxy.provider.mycluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    • dfs.ha.fencing.methods=sshfence；dfs.ha.fencing.ssh.private-key-files=/root/.ssh/id_rsa
    • dfs.ha.automatic-failover.enabled=true
• 初始化与启动
  • 在nn1执行：hdfs namenode -format
  • 启动所有JournalNode（Hadoop安装目录下执行）：sbin/hadoop-daemon.sh start journalnode（或使用start-dfs.sh统一启动）
  • 在nn1启动NameNode：sbin/hadoop-daemon.sh start namenode；在nn2执行：hdfs namenode -bootstrapStandby 后启动NameNode
  • 在nn1/nn2启动ZKFC：sbin/hadoop-daemon.sh start zkfc
  • 启动DataNode：sbin/hadoop-daemon.sh start datanode（或start-dfs.sh）。

验证与运维

• 状态与健康检查
  • hdfs haadmin -report（查看NameNode角色与健康）
  • yarn node -list（查看NodeManager注册情况）
  • 访问Active NameNode的Web UI：http://nn1:50070 或 http://nn2:50070
• 故障转移演练
  • 计划内切换：hdfs haadmin -failover --forcefence --forceactive nn1 nn2
  • 模拟故障：停止Active NameNode或断网，观察ZKFC是否在约数十秒内完成切换，客户端是否无感或仅短暂重试。
• 常见排错要点
  • JournalNode多数写入失败：检查8485端口、磁盘空间与防火墙；确保集群规模满足2N+1并能形成多数派。
  • 自动切换失败：核对sshfence私钥路径与免密、ZooKeeper会话超时、ZKFC进程存活。
  • 客户端连不通：确认core-site.xml的fs.defaultFS与hdfs-site.xml的代理提供者配置正确。

关键配置清单