Ubuntu与Hadoop网络配置有何要点

Ubuntu 与 Hadoop 网络配置要点

一、网络与主机规划

使用固定内网网段为集群分配地址，并为每台机器设置唯一的主机名（如：master、slave1、slave2），便于后续配置与排查。
在所有节点统一维护 /etc/hosts，用主机名映射内网 IP，避免依赖 DNS；示例：
192.168.5.11 master
192.168.5.12 slave1
192.168.5.13 slave2
虚拟机场景建议将网络设为桥接（或稳定的 NAT），并确保克隆或新增节点拥有不同的 MAC 地址，防止 IP 冲突。
规划并预留 Hadoop 常用端口（示例）：HDFS NameNode 9000、ResourceManager 8088、NodeManager 8042、DataNode 9864/9866，便于防火墙放行与端口连通性验证。

二、Ubuntu 网络配置

Ubuntu 22.04 采用 Netplan 管理网络，编辑 /etc/netplan/*.yaml（如：01-network-manager-all.yaml），设置静态 IP、网关与 DNS，然后执行 sudo netplan apply 生效。示例片段：
network:
ethernets:
ens33:
dhcp4: false
addresses: [192.168.5.11/24]
routes: [{ to: default, via: 192.168.5.2 }]
nameservers: { addresses: [8.8.8.8, 8.8.4.4] }
version: 2
修改 /etc/hostname 为各自主机名，并同步 /etc/hosts 到所有节点；如需从宿主机访问集群 Web UI，可在 Windows C:\Windows\System32\drivers\etc\hosts 添加相同映射。
验证：使用 ip a 查看地址，ping master/slave1 测试互通，ping 8.8.8.8 测试外网解析与路由。

三、Hadoop 关键网络参数

四、SSH 免密与集群分发

在所有节点安装 openssh-server，在 master 生成密钥对：ssh-keygen -t rsa；将公钥追加到 ~/.ssh/authorized_keys，并验证 ssh master 可免密登录本机。
将 master 的公钥分发到各 slave：ssh-copy-id hadoop@slave1（按提示输入密码），完成后在 master 上验证 ssh slave1 免密登录。
使用 scp/rsync 或自研分发脚本（如 xsync）将 Hadoop 安装目录与环境变量脚本同步到所有节点，保持版本与配置一致。

五、连通性验证与常见问题

基础连通性：
- 节点互 ping：如 ping master -c 3、ping slave1 -c 3。
- 服务端口：在浏览器访问 http://master:8088（YARN）、http://master:9870（HDFS NameNode Web UI），并在各节点用 ss -tulpen | grep -E ‘9000|8088|9864’ 检查监听。
常见问题与处理：
- /etc/hosts 冲突：避免将 127.0.0.1 映射到实际主机名（如 “127.0.0.1 master”），否则会导致本机解析异常。
- 虚拟机 IP 冲突：克隆后务必生成新的 MAC 地址并重新获取/设置静态 IP。
- 防火墙/安全组：放行 9000、8088、8042、9864/9866 等端口，或在内网测试环境临时关闭防火墙以定位问题。
- SSH 仍提示密码：检查 ~/.ssh 权限（建议 700/600），确认公钥已正确追加到远端 authorized_keys。

最新问答