HDFS高可用如何配置实现

HDFS高可用配置与实现

一 架构与前置条件

• 架构要点：部署Active/Standby 双 NameNode，通过QJM（Quorum Journal Manager）共享编辑日志，配合ZooKeeper + ZKFC（ZooKeeper Failover Controller）实现自动故障转移与健康监测，避免脑裂并提供隔离（Fencing）能力。客户端通过nameservice访问，由Failover Proxy Provider在故障时透明切换。建议至少准备3 台 JournalNode与2 台 NameNode，并启用SSH 无密码登录以便隔离与切换。若需横向扩展命名空间，可叠加 HDFS Federation。

二 核心配置示例

• 在所有节点统一配置 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>zk1:2181,zk2:2181,zk3:2181</value>
  </property>
</configuration>

• 在所有节点统一配置 hdfs-site.xml（关键项）

<configuration>
  <!-- 命名服务与双 NN -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- RPC 与 HTTP 地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>nn1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>nn2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>nn1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</value>
    <value>nn2:50070</value>
  </property>

  <!-- 共享编辑日志 QJM -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://jn1:8485;jn2:8485;jn3:8485/mycluster</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data/hadoop/journal</value>
  </property>

  <!-- 客户端故障转移代理 -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 隔离与防护 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>

  <!-- 自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <!-- 副本与本地目录（示例） -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/hadoop/datanode</value>
  </property>
</configuration>

• 说明
  • 端口约定：RPC 8020、HTTP 50070、JournalNode 8485、ZooKeeper 2181；生产环境请使用实际主机名或 VIP。
  • 自动故障转移需启用 ZKFC 并配置 ZooKeeper 地址；手动切换可先关闭自动故障转移再执行命令。

三 部署与初始化步骤

1. 准备基础环境
   • 安装并同步 Hadoop 版本；配置 SSH 免密；所有节点时间同步；开放必要端口（如 8020/50070/8485/2181）。
2. 启动 ZooKeeper 集群
   • 配置 dataDir 与 clientPort，逐节点启动，确认集群状态正常。
3. 启动 JournalNode
   • 在 jn1/jn2/jn3 执行：
     • $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode
4. 格式化并引导 NameNode
   • 在 nn1 执行：
     • $HADOOP_HOME/bin/hdfs namenode -format
     • $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
   • 在 nn2 执行（拉取共享编辑并同步元数据）：
     • $HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
     • $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
5. 初始化自动故障转移
   • 在任一 NameNode 执行（首次）：
     • $HADOOP_HOME/bin/hdfs zkfc -formatZK
6. 启动 ZKFC（两台 NameNode）
   • $HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc
7. 启动 DataNode
   • 在各 DataNode 执行：
     • $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
8. 验证
   • 查看 NameNode 状态：
     • $HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1
     • $HADOOP_HOME/bin/hdfs haadmin -getServiceState nn2
   • 查看集群概况：
     • $HADOOP_HOME/bin/hdfs dfsadmin -report

四 验证与运维要点

• 健康检查与切换
  • 手动切换（自动故障转移关闭时）：
    • $HADOOP_HOME/bin/hdfs haadmin -failover --forcefence --forceactive nn1 nn2
  • 自动故障转移：停止 Active NameNode 或断开其网络，观察 Standby 在 ZooKeeper/ZKFC 协调下自动转为 Active。
• 常见故障与排查
  • 隔离失败导致无法切换：确认 sshfence 可用、私钥路径正确、目标 NN 可 SSH 登录；必要时增加 shell(true) 作为兜底。
  • JournalNode 不同步：检查 dfs.journalnode.edits.dir 磁盘与权限、网络连通性、QJM 地址一致性。
  • ZKFC 未选主：确认 ZooKeeper 会话超时（如 ha.zookeeper.session.timeout.ms）合理、网络稳定、主机名可解析。
  • 客户端连错 NN：确认 core-site.xml 的 fs.defaultFS 为 nameservice，客户端 hdfs-site.xml 包含 dfs.client.failover.proxy.provider 与 nameservices 配置。