Ubuntu HDFS网络配置需要注意什么

Ubuntu 环境下部署 HDFS 的网络配置要点

一 基础网络与主机规划

• 使用静态 IP与一致的主机名，并在所有节点的 /etc/hosts 中维护全量映射，避免依赖 DHCP 导致地址漂移引发节点互信与服务发现异常。
• 规划专用网络/VLAN承载 HDFS 流量，与管理网、业务网隔离，减少带宽争用。
• 打通必要端口（如 8020/9000 RPC、50070/9870 Web UI、50075 DataNode HTTP 等），并统一 DNS/NTP，保证时间一致性与服务可达性。
• 建议开启 SSH 免密登录（至少 NameNode 到各 DataNode），便于集群启停与维护。

二 Ubuntu 网卡与 IP 配置

• 现代 Ubuntu 使用 Netplan 管理网络，配置文件位于 /etc/netplan/（如 01-network-manager-all.yaml 或 50-cloud-init.yaml）。示例（静态地址）：
  • 设置接口名（如 ens33/eth0）、addresses、gateway4、nameservers；
  • 应用：sudo netplan apply（远程操作请准备控制台，避免断连）。
• 如需 DHCP，同样在 Netplan 中启用并指定接口；但生产 HDFS 更推荐静态 IP 或配合 DNS 使用。
• 验证：ip addr、ping、systemctl status networking。

三 系统内核与资源限制

• 提升文件描述符与连接能力：
  • sudo sysctl -w net.core.somaxconn=65535
  • sudo sysctl -w net.ipv4.ip_local_port_range="1024 65535"
  • sudo ulimit -n 65535（并在 /etc/security/limits.conf 持久化：* soft/hard nofile 65536）
• 优化 TCP 缓冲区与窗口：
  • net.core.rmem_max=16777216、net.core.wmem_max=16777216
  • net.ipv4.tcp_rmem="4096 87380 16777216"、net.ipv4.tcp_wmem="4096 65536 16777216"
• 可选：缩短连接回收时间（测试环境）net.ipv4.tcp_fin_timeout=30，并视场景开启 tcp_tw_reuse。

四 HDFS 关键网络参数

• 核心服务地址与连接策略（示例）：
  • core-site.xml：fs.defaultFS=hdfs://namenode:8020
  • 连接容错：ipc.client.connect.timeout=60000、ipc.client.listen.queue.size=100
• 并发与吞吐：
  • hdfs-site.xml：dfs.namenode.handler.count=100、dfs.datanode.handler.count=100
  • 数据传输：dfs.datanode.max.transfer.threads=4096
• 注册与解析：
  • dfs.namenode.datanode.registration.ip-hostname-check=true（确保主机名可解析且与 IP 对应）
• 副本与块大小（影响网络与负载）：
  • dfs.replication=3、dfs.blocksize=134217728（即 128MB，可按访问模式调整）

五 高可用与双网卡实践

• 高可用（HA）建议：部署 ZooKeeper 集群（如 3/5/7 节点），启用 JournalNode 与 ZKFC，对外以 nameservice ID 访问；NameNode 与 JournalNode 使用专用网络承载 editlog 复制与 ZK 会话，降低抖动风险。
• 双网卡：
  • 方案 A：Bonding 绑定（如 mode=1 主备或 mode=4/802.3ad 802.3ad 动态聚合，需交换机支持），提升可靠性/带宽；
  • 方案 B：多网卡多网段，在 Hadoop 中通过机架感知与网络拓扑配置实现流量隔离与就近路由。
• 上线前在测试环境验证：带宽、丢包、时延、HA 切换、滚动升级与网络分区恢复策略。