Ubuntu HDFS如何节点管理

Ubuntu 环境下 HDFS 节点管理实操指南

一 节点角色与常用命令

• 角色划分：HDFS 的核心节点包括 NameNode（元数据管理）、DataNode（数据块存储）、可选的 Secondary NameNode（辅助合并编辑日志，非 HA 场景）、以及 JournalNode（HA 场景共享编辑日志）。节点管理主要围绕 DataNode 的上线、退役、维护、均衡展开。
• 常用命令：
  • 查看集群与节点状态：hdfs dfsadmin -report
  • 安全模式：hdfs dfsadmin -safemode get|leave|enter|wait
  • 刷新节点配置：hdfs dfsadmin -refreshNodes
  • 块分布均衡：start-balancer.sh -threshold <百分比>
  • 文件/块健康检查：hdfs fsck <path> [-files -blocks -locations]，查看维护状态需加 -maintenance
    以上命令覆盖节点上下线、健康检查与容量均衡等日常运维场景。

二 上线新 DataNode（动态扩容）

• 前置准备：
  • 在新节点安装同版本 Java 与 Hadoop，配置环境变量（如 JAVA_HOME、HADOOP_HOME、PATH），并同步集群的 core-site.xml、hdfs-site.xml 等关键配置；确保 SSH 免密可达 NameNode。
  • 在 workers（或旧版的 slaves）文件中加入新节点主机名，便于统一启停；如启用 HDFS HA，还需同步 JournalNode 与 HA 相关配置。
• 启动与注册：
  • 在新节点启动 DataNode：hdfs --daemon start datanode（或 hadoop-daemon.sh start datanode）。
  • 在 NameNode 上刷新节点列表：hdfs dfsadmin -refreshNodes，稍候在 hdfs dfsadmin -report 中可见新节点。
• 容量均衡（可选）：
  • 执行 start-balancer.sh -threshold 10（阈值可按环境调整，如 5%–10%），均衡期间避免对业务写入造成抖动。
• 验证要点：
  • hdfs dfsadmin -report 显示 Live datanodes 增加；NameNode Web UI（默认 50070）能看到新节点与磁盘容量。
    以上流程支持不停机动态扩容，适合生产环境滚动升级与容量增长。

三 安全下线与退役 DataNode

• 推荐方式（优雅退役，保障数据可靠性）：
  • 在 NameNode 的 hdfs-site.xml 中配置排除文件：dfs.hosts.exclude=/path/excludes，将待退役节点写入该文件。
  • 刷新节点：hdfs dfsadmin -refreshNodes，在 UI/报告中可见节点状态从 NORMAL 转为 DECOMMISSION_IN_PROGRESS，待块复制完成后变为 DECOMMISSIONED。
  • 复制完成后可停止该节点 DataNode 进程，并从 workers/slaves 移除；如需恢复上线，先从 excludes 移除并再次 refreshNodes。
• 快速移除（不推荐，可能造成数据风险）：
  • 直接停进程或断网，节点会被标记为 Dead；适用于节点故障且无法修复的紧急场景。
• 维护窗口（短时维护，避免复制风暴）：
  • 使用 维护状态（Hadoop ≥ 3.2）：在 dfs.hosts 采用 JSON 配置并指定 "adminState":"IN_MAINTENANCE" 与可选的 maintenanceExpireTimeInMS，随后 refreshNodes；维护完成后置回 NORMAL。
• 退役后均衡：
  • 执行 start-balancer.sh -threshold <阈值>，回收空间并恢复均衡分布。
    以上退役与维护流程覆盖安全、可控、可回滚的节点下线策略。

四 日常巡检与容量治理

• 容量与均衡巡检：
  • 通过 hdfs dfsadmin -report 与 NameNode Web UI 观察 Capacity、Used、Remaining 与 平均使用率；若节点间使用率差异超过 ~5%，建议执行 Balancer。
  • 设置告警阈值：如 已用 > 75% 触发清理或扩容流程，避免进入只读/安全模式风险。
• 健康与故障盘：
  • UI 中关注 Live/ Dead Nodes 与 Volume Failures；出现坏盘及时更换并在 DataNode 配置中排除故障目录后再上线。
• 安全模式与恢复：
  • 异常关机/断电后可能进入 Safe mode，待块恢复后执行 hdfs dfsadmin -safemode leave 退出。
• 小文件与副本治理：
  • 控制小文件数量，必要时调整 dfs.replication 并配合 hdfs fsck 与 setrep 做副本修复与降副本。
    以上巡检项与阈值为生产通用实践，可纳入日常值班与容量管理流程。

五 常见问题与快速排查

• 节点未出现在集群：
  • 核对 workers/slaves 与 dfs.hosts 是否包含该主机名；在 NameNode 执行 hdfs dfsadmin -refreshNodes；检查 防火墙/安全组 与 SSH 免密；查看 DataNode 日志（$HADOOP_HOME/logs/hadoop-*-datanode-*.log）。
• 退役卡在 DECOMMISSION_IN_PROGRESS：
  • 检查集群 副本因子 与 可用空间 是否足以容纳迁移；适当提高 dfs.replication.work.multiplier.per.iteration 或临时扩容；观察 复制进度 与 网络带宽。
• 均衡速度慢：
  • 调整 Balancer 带宽（如提高默认 1 MB/s 的限制），选择业务低峰期执行；分批次均衡避免拥塞。
• 坏盘/卷故障：
  • 在 DataNode 数据目录 排除故障盘路径，重启 DataNode；更换磁盘后重新加入并观察 Volume Failures 是否清零。
    以上排查路径覆盖节点注册、退役阻塞、均衡调优与磁盘故障等高频问题。