Debian 上 Hadoop 集群扩展方案
一、扩展总览与选型
- 横向扩展（Scale Out）：新增 DataNode/NodeManager 节点，适合容量与算力同步增长，扩容后执行 HDFS Balancer 使数据均匀分布。
- 纵向扩展（Scale Up）：为现有节点新增 磁盘/内存/CPU，Hadoop 3+ 支持 DiskBalancer 做单节点内多盘均衡。
- 元数据层扩展：当 NameNode 成为瓶颈或命名空间过大时，引入 HDFS Federation 将多个命名空间分布到多个 NameNode。
- 可用性保障：生产建议启用 HA（QJM/ZKFC + ZooKeeper），避免单点故障。
- 规划要点：保持 OS/JDK/Hadoop 版本一致，统一 主机名与 /etc/hosts，配置 SSH 免密 与 NTP/chrony 时间同步，并准备回滚预案与窗口期。
二、横向扩展步骤（新增工作节点）
- 前置准备
- 在 Debian 节点完成：网络与主机名、/etc/hosts、SSH 免密、NTP/chrony、JDK、关闭 防火墙/SELinux、禁用 透明大页（THP） 与 swap。
- 统一 Hadoop 安装路径与配置基线，确保新旧节点版本一致。
- 准入控制（可选但推荐）
- 在 NameNode 的 hdfs-site.xml 配置 dfs.hosts（白名单）；在 ResourceManager 的 yarn-site.xml 配置 yarn.resourcemanager.nodes.include-path，仅允许受管节点加入。
- 新节点部署
- 安装 Hadoop，拷贝集群配置（含 core-site.xml/hdfs-site.xml/yarn-site.xml/mapred-site.xml），配置 DataNode/NodeManager 相关参数（如 dfs.datanode.data.dir、yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores）。
- 启动与纳管
- 在新节点启动 DataNode 与 NodeManager。
- 在 NameNode 执行：
hdfs dfsadmin -refreshNodes；在 ResourceManager 执行：yarn rmadmin -refreshNodes，刷新节点列表。
- 数据均衡与验证
- 运行 HDFS Balancer 均衡块分布：
hdfs balancer -threshold <百分比>。
- 验证：
hdfs dfsadmin -report、yarn node -list，检查 Capacity/Used、Nodes Live 与 不健康节点 状态。
三、纵向扩展与单节点优化
- 新增磁盘并挂载
- 分区并格式化（如 XFS/EXT4），写入 /etc/fstab 持久化挂载，目录加入 dfs.datanode.data.dir。
- 配置与生效
- 在 DataNode 配置中增加新目录，重启 DataNode 使新盘生效。
- 单节点磁盘均衡（Hadoop 3+）
- 生成并执行均衡计划：
hdfs diskbalancer -plan <DataNode_IP> -out /tmp/plan.json；hdfs diskbalancer -execute /tmp/plan.json。
- 内存与并发参数（示例，按节点资源调整）
- yarn.nodemanager.resource.memory-mb：节点可分配给容器的总内存。
- yarn.nodemanager.resource.cpu-vcores：可用 vcore 数。
- dfs.datanode.max.transfer.threads：提升 DataNode 传输并发。
- dfs.namenode.handler.count：提升 NameNode 元数据服务线程。
- dfs.datanode.balance.bandwidthPerSec：控制 Balancer 带宽，避免影响业务。
四、缩容与安全下线
- 准备与数据迁移
- 设置节点为 退役（Decommission） 状态，触发 HDFS 将块副本复制到其他 DataNode；在 YARN 将节点标记为 退役，等待容器回收。
- 停止与清理
- 待副本重建完成且 Decommission Status 为 Decommissioned，停止新节点 DataNode/NodeManager。
- 从 dfs.hosts / yarn.resourcemanager.nodes.include-path 移除该节点，执行
hdfs dfsadmin -refreshNodes 与 yarn rmadmin -refreshNodes。
- 验证
- 确认 hdfs dfsadmin -report 与 yarn node -list 中该节点已不在 Live 列表，且 Under-Replicated Blocks 恢复正常。
五、HA 与 Federation 场景的扩展要点
- HA 集群新增 JournalNode（如部署了 QJM HA）
- 在新节点安装同版本 Hadoop，同步 hdfs-site.xml 中的 JournalNode 相关目录与 ZooKeeper 地址；启动 JournalNode；依次重启 Standby NameNode 加载新 JournalNode 元数据，必要时执行 hdfs haadmin -failover 切换主备，验证 Journal Status。
- Federation 扩展命名空间
- 当单 NameNode 元数据与负载成为瓶颈时，规划多个 NameNode 组成 Federation，通过 ViewFS 或客户端挂载表提供统一命名空间视图，按业务域拆分 Namespace/Block Pool，实现水平扩展与隔离。
