Ubuntu HDFS配置中的网络设置指南

Ubuntu HDFS配置中的网络设置指南

在Ubuntu系统上配置HDFS集群的网络环境，是确保集群各节点（NameNode、DataNode、ResourceManager、NodeManager等）能够正常通信的基础。以下是详细的网络设置步骤及注意事项：

1. 配置静态IP地址

静态IP是集群节点稳定通信的前提，避免因DHCP动态分配导致IP变化。以Ubuntu 22.04为例，通过netplan工具配置静态IP：

编辑网络配置文件（路径通常为/etc/netplan/01-network-manager-all.yaml）：

network:
  version: 2
  renderer: NetworkManager
  ethernets:
    ens33:  # 网卡名称（通过`ip a`命令查看）
      dhcp4: no  # 关闭DHCP
      addresses: ["192.168.88.10/24"]  # 设置静态IP及子网掩码（/24表示255.255.255.0）
      routes:
        - to: default
          via: 192.168.88.2  # 网关地址（根据网络环境设置）
      nameservers:
        addresses: ["8.8.8.8", "1.1.1.1"]  # DNS服务器地址

应用配置：
```
sudo netplan apply
```
验证IP配置：
```
ip a | grep ens33
```

2. 配置主机名与hosts文件解析

确保所有节点的主机名与IP地址映射一致，避免依赖DNS解析（减少网络依赖）。

修改本机主机名（以主节点为例）：

sudo hostnamectl set-hostname master  # 设置主机名为master

编辑/etc/hosts文件，在所有节点上添加以下内容（替换为实际IP和主机名）：
```
192.168.88.10 master
192.168.88.11 slave1
192.168.88.12 slave2
```

验证解析：

ping master  # 应能ping通本机
ping slave1  # 应能ping通slave1节点

3. 配置SSH免密码登录

Hadoop集群节点间需要频繁通信（如NameNode与DataNode、ResourceManager与NodeManager），SSH免密码登录可简化操作并提高安全性。

在所有节点上安装OpenSSH Server：

sudo apt update
sudo apt install openssh-server -y
sudo systemctl enable ssh  # 设置开机自启
sudo systemctl start ssh   # 启动SSH服务

生成SSH密钥对（在主节点执行）：

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa  # 生成无密码密钥对

将公钥复制到所有从节点：

ssh-copy-id hadoop@slave1  # 替换为从节点用户名和IP
ssh-copy-id hadoop@slave2

测试免密登录：

ssh slave1  # 应无需输入密码即可登录
ssh slave2

4. 配置Hadoop核心网络参数

通过修改Hadoop配置文件，定义集群的网络通信行为。

core-site.xml：设置HDFS默认文件系统和RPC通信地址。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>  <!-- NameNode的RPC地址（替换为实际主机名/IP） -->
  </property>
</configuration>

hdfs-site.xml：配置HDFS副本数、NameNode/DataNode数据目录。

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>  <!-- 数据副本数（根据集群规模调整，通常为3） -->
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/namenode</value>  <!-- NameNode元数据存储目录 -->
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/datanode</value>  <!-- DataNode数据存储目录 -->
  </property>
</configuration>

yarn-site.xml：配置ResourceManager地址和Shuffle服务。

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>  <!-- ResourceManager所在节点主机名 -->
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>  <!-- 启用MapReduce Shuffle服务 -->
  </property>
</configuration>

mapred-site.xml：指定MapReduce框架为YARN。

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

5. 防火墙与SELinux设置

允许Hadoop服务所需的端口通信，避免网络阻断。

Ubuntu（ufw防火墙）：允许常用Hadoop端口（如HDFS、YARN端口）：

sudo ufw allow 9000/tcp   # HDFS NameNode RPC端口
sudo ufw allow 50070/tcp  # HDFS Web UI端口
sudo ufw allow 8088/tcp   # YARN ResourceManager Web UI端口
sudo ufw allow 50010/tcp  # DataNode数据传输端口
sudo ufw allow 50020/tcp  # DataNode RPC端口
sudo ufw enable           # 启用防火墙

SELinux：若系统启用SELinux，需临时或永久关闭：

sudo setenforce 0  # 临时关闭（重启后失效）
sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config  # 永久关闭

6. 验证网络连通性

确保所有节点之间能够正常通信，避免因网络问题导致集群启动失败。

Ping测试：从主节点ping所有从节点，检查IP连通性。
```
ping slave1
ping slave2
```
SSH测试：从主节点SSH登录所有从节点，验证免密登录是否生效。
```
ssh slave1
ssh slave2
```

HDFS状态检查：格式化NameNode（首次启动需执行）并启动集群后，检查DataNode是否注册。

hdfs namenode -format  # 格式化NameNode（谨慎操作，会清除原有数据）
start-dfs.sh           # 启动HDFS服务
hdfs dfsadmin -report  # 查看DataNode状态（应显示所有DataNode已连接）

通过以上步骤，可完成Ubuntu环境下HDFS集群的网络配置，确保集群各节点之间的通信稳定。配置完成后，需通过hdfs dfsadmin -report、yarn node -list等命令验证集群状态，确保所有服务正常运行。