Debian 环境下部署 HDFS 的网络配置要点
一 基础网络与解析
- 使用静态 IP，避免 DHCP 导致地址漂移；Debian 10+ 若采用 Netplan，编辑 /etc/netplan/*.yaml，设置 addresses、gateway4、nameservers 后执行 sudo netplan apply；旧版可用 /etc/network/interfaces 配置静态地址并重启网络服务。
- 全节点统一设置唯一主机名（如：namenode、datanode1），建议通过 hostnamectl set-hostname 设置。
- 在所有节点维护 /etc/hosts，用“IP 主机名”映射所有节点，减少对外部 DNS 的依赖，保证解析一致性与速度。
- 打通 SSH 免密登录（生成密钥对，ssh-copy-id 分发公钥），用于集群启停与作业分发。
- 打开必要端口或临时关闭防火墙以便联调：如 SSH(22)、HDFS RPC(8020 或 9000)、DataNode 数据传输(50010–50020)、NameNode/DataNode HTTP(50070–50080)、YARN(8088)；生产环境建议精细化放通而非全关闭。
- 启用 NTP 做时间同步，避免心跳/安全票据因时间漂移异常。
二 Hadoop 关键网络参数
- 统一访问入口：在 core-site.xml 设置 fs.defaultFS=hdfs://:8020（或 9000，视版本与配置而定），确保该地址在所有节点均可解析。
- 明确 RPC 监听：在 hdfs-site.xml 设置 dfs.namenode.rpc-address 与 dfs.datanode.address，避免绑定到错误的网卡/地址族。
- 注册校验：按通信方式设置 dfs.namenode.datanode.registration.ip-hostname-check（使用主机名通信建议为 true，使用 IP 直连可设为 false）。
- 并发与吞吐：根据节点规模调优 dfs.namenode.handler.count（NameNode RPC 线程）与 dfs.datanode.handler.count（DataNode RPC 线程），并提升 dfs.datanode.max.transfer.threads 以支持更多并发传输。
- 稳定性参数：网络抖动时增大 ha.health-monitor.rpc-timeout.ms、ipc.client.connect.timeout、ipc.client.connect.max.retries.on.timeouts，降低误判与连接失败。
- 安全与加密：按需开启 hadoop.rpc.protection、dfs.encrypt.data.transfer 与相关算法套件，注意部分加密项需重启且不支持滚动重启。
三 高可用与拓扑
- HA 部署需保证 JournalNodes 之间、ZKFC 与 NameNode 之间的网络低时延与高可用；合理增大健康检查和 RPC 超时，减少因网络瞬时异常导致的双 Active 或误切换。
- 跨机架集群建议配置网络拓扑/机架感知，让数据在机架内优先传输，降低跨机架流量与故障域影响。
四 性能与容量建议
- 生产环境优先使用千兆及以上以太网，并尽量使用同网段/同二层互联，减少路由与 NAT 带来的时延与丢包。
- 结合业务文件大小调整 dfs.blocksize（常见为 128MB，大文件可至 256MB/512MB；小文件密集场景可降至 64MB），在元数据压力与并行度间取得平衡。
- 结合并发与磁盘/CPU 能力，合理调高 dfs.datanode.max.transfer.threads 与 RPC 线程数，避免连接排队与处理瓶颈。
五 验证与排障清单
- 基础连通：ping 主机名与 IP，确认 /etc/hosts 生效；ss/iptables/nmap 检查端口开放状态（如 8020/50010–50020/50070–50080/8088）。
- 服务可达：从客户端执行 hdfs dfsadmin -report、hdfs dfs -ls /，验证 NameNode RPC 与 DataNode 上报正常。
- 日志与指标：查看 NameNode/DataNode 日志中的 InetAddress 绑定、连接超时、注册失败等关键字；配合 NTP 状态与时间偏差检查。
- 变更回滚：参数调整后按服务角色滚动重启（先备后主），并在低峰期进行，持续观察 RPC 队列、吞吐与 GC 情况。
