Ubuntu如何实现HDFS的高可用性

Ubuntu实现HDFS高可用

一 架构与前置条件

• 架构要点：部署2 个 NameNode（Active/Standby），通过QJM（Quorum Journal Manager）共享编辑日志；使用ZooKeeper + ZKFC（ZKFailoverController）实现自动故障转移；至少3 个 JournalNode保证写入多数派与可用性；DataNode 同时向两个 NameNode 上报块位置，保证快速切换。该方案消除 NameNode 单点故障，支持自动或手动切换。
• 节点与端口示例（可按需调整主机名与路径）：
  • NameNode：nn1=ubuntu1:8020，Web：ubuntu1:9870；nn2=ubuntu2:8020，Web：ubuntu2:9870
  • JournalNode：jn1/jn2/jn3，QJM 端口：8485
  • ZooKeeper：zk1/zk2/zk3，端口：2181
• 前置要求：各节点安装相同版本 Hadoop 3.x；配置 SSH 免密；时间同步（如 NTP）；目录与权限准备；配置文件在集群内保持一致并分发。

二 关键配置示例

• 说明：以下为最小可用关键项示例，需在所有节点保持同步（以 mycluster 为名称服务，nn1=ubuntu1，nn2=ubuntu2，jn1/jn2/jn3 为 JournalNode 主机名）。

• core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>zk1:2181,zk2:2181,zk3:2181</value>
  </property>
</configuration>

• hdfs-site.xml

<configuration>
  <!-- 集群标识与 NameNode 列表 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- RPC 与 HTTP 地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>ubuntu1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>ubuntu2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>ubuntu1:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</value>
    <value>ubuntu2:9870</value>
  </property>

  <!-- QJM 共享编辑日志 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data/hadoop/journal</value>
  </property>

  <!-- 客户端故障转移代理 -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 隔离方法（SSH 示例，需配置免密与私钥路径） -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 启用自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <!-- 副本与本地目录（示例） -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/dfs/data</value>
  </property>
</configuration>

• 提示：若使用 root 运行，需在 sbin 脚本顶部设置环境变量（示例）：
  • start-dfs.sh/stop-dfs.sh：HDFS_DATANODE_USER=root、HDFS_NAMENODE_USER=root、HDFS_JOURNALNODE_USER=root、HDFS_ZKFC_USER=root
  • start-yarn.sh/stop-yarn.sh：YARN_RESOURCEMANAGER_USER=root、YARN_NODEMANAGER_USER=root。

三 部署与启动步骤

1. 分发配置：将修改好的 core-site.xml、hdfs-site.xml 等分发到所有节点，确保一致。
2. 启动 ZooKeeper：在 zk1/zk2/zk3 执行：
   • zkServer.sh start
   • zkServer.sh status（确认 Leader/Follower 角色正常）
3. 启动 JournalNode：在 jn1/jn2/jn3 执行：
   • hdfs --daemon start journalnode（Hadoop 3.x 推荐）
   • 若启动失败需清理目录后重试：rm -rf /data/hadoop/journal/*
4. 格式化 NameNode（首次）：
   • 在 nn1 执行：hdfs namenode -format
   • 初始化共享编辑日志：hdfs namenode -initializeSharedEdits
5. 启动 nn1 的 NameNode：hdfs --daemon start namenode
6. 在 nn2 同步元数据并启动：
   • hdfs namenode -bootstrapStandby
   • hdfs --daemon start namenode
7. 初始化 ZKFC（自动故障转移所需）：在 nn1 执行：hdfs zkfc -formatZK
8. 启动 ZKFC 守护进程（nn1、nn2）：hdfs --daemon start zkfc
9. 启动 DataNode（所有 DataNode 节点）：hdfs --daemon start datanode
10. 一键启动（可选）：start-dfs.sh
11. 验证与观察：
    • 查看状态：hdfs haadmin -getServiceState nn1 / nn2（应一 active 一 standby）
    • 访问 Web：http://ubuntu1:9870、http://ubuntu2:9870。

四 验证与故障转移

• 手动切换（维护窗口常用）：
  • hdfs haadmin -failover --forcefence --forceactive nn1 nn2
• 自动故障转移测试：
  • 停止当前 Active（如 nn1）：hdfs --daemon stop namenode（或 kill）
  • 观察：hdfs haadmin -getServiceState nn2 应为 active；执行 hdfs dfs -ls / 验证业务可用
• 常见问题与要点：
  • 配置变更后需重启相关进程；
  • 多次格式化导致 clusterID 不一致时，清理 DataNode 数据目录 后重启；
  • JournalNode 数据目录异常需清理后重启；
  • 启用自动故障转移时，确保 ZooKeeper 可用、fencing 配置正确、SSH 免密可达；
  • 客户端连接建议使用 nameservice ID（mycluster），避免直连单节点。