在Ubuntu系统上配置HDFS网络参数，需围绕Hadoop核心配置文件调整、网络连通性保障、系统参数优化三个核心环节展开，以下是详细步骤及关键参数说明：
在修改HDFS网络参数前，需确保Ubuntu节点间的网络互通，避免因基础网络问题导致配置失败。
设置静态IP地址
编辑/etc/netplan/01-netcfg.yaml（Ubuntu 18.04及以上版本）或/etc/network/interfaces（旧版本），配置静态IP、子网掩码、网关。例如：
network:
version: 2
renderer: networkd
ethernets:
ens33:
dhcp4: no
addresses: [192.168.1.100/24]
gateway4: 192.168.1.1
nameservers:
addresses: [8.8.8.8, 8.8.4.4]
应用配置：sudo netplan apply（或sudo systemctl restart networking）。
配置主机名与IP映射
编辑/etc/hosts文件，添加所有Hadoop节点的IP与主机名映射（替换为实际IP和主机名）：
127.0.0.1 localhost
192.168.1.100 namenode
192.168.1.101 datanode1
192.168.1.102 datanode2
确保所有节点的/etc/hostname文件中主机名与映射一致。
配置SSH免密登录
在NameNode节点上生成SSH密钥对：ssh-keygen -t rsa（直接回车），然后将公钥复制到所有DataNode节点：
ssh-copy-id user@datanode1
ssh-copy-id user@datanode2
测试免密登录：ssh datanode1，确认无需输入密码。
HDFS的网络参数主要集中在core-site.xml（核心功能）和hdfs-site.xml（HDFS特有配置）中，需根据集群规模调整以下参数：
该文件定义了HDFS的默认文件系统和通信端口，关键参数如下：
<configuration>
<!-- 指定HDFS默认文件系统URI（NameNode的IP/主机名:端口） -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value> <!-- 生产环境建议使用主机名而非IP -->
</property>
<!-- Hadoop临时目录（需提前创建，权限设为755） -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<!-- 客户端与NameNode连接超时时间（毫秒，默认60000） -->
<property>
<name>ipc.client.connect.timeout</name>
<value>30000</value> <!-- 网络不稳定时可适当降低 -->
</property>
</configuration>
该文件配置了HDFS的数据存储、副本策略及DataNode通信参数，关键参数如下：
<configuration>
<!-- 数据副本数（默认3，生产环境建议3，测试环境可设为1） -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- NameNode元数据存储目录（需提前创建，权限设为700） -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<!-- DataNode数据存储目录（需提前创建，权限设为700） -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
<!-- NameNode RPC处理线程数（默认100，集群规模大时可增加至200+） -->
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<!-- DataNode数据传输线程数（默认40，高带宽环境下可增加至100+） -->
<property>
<name>dfs.datanode.handler.count</name>
<value>40</value>
</property>
<!-- DataNode最大数据传输线程数（默认8192，大数据量传输时可调整） -->
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>
<!-- 禁止NameNode检查DataNode的IP与主机名匹配（避免DNS解析问题） -->
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
</configuration>
为提升HDFS网络传输性能，可通过sysctl命令调整Linux内核网络参数：
# 增大TCP缓冲区大小（接收/发送缓冲区最大值、默认值、最小值）
sudo sysctl -w net.core.rmem_max=16777216
sudo sysctl -w net.core.wmem_max=16777216
sudo sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sudo sysctl -w net.ipv4.tcp_wmem="4096 65536 16777216"
# 增大TCP连接端口范围（避免端口耗尽）
sudo sysctl -w net.ipv4.ip_local_port_range="1024 65535"
# 增大TCP连接队列长度（避免连接拒绝）
sudo sysctl -w net.core.somaxconn=65535
# 增大文件描述符限制（避免进程打开文件过多）
echo "ulimit -n 65535" | sudo tee -a /etc/profile
source /etc/profile
上述参数需写入/etc/sysctl.conf文件（如echo "net.core.rmem_max=16777216" | sudo tee -a /etc/sysctl.conf）并执行sudo sysctl -p使配置永久生效。
格式化NameNode（首次启动需执行）：
在NameNode节点上执行：hdfs namenode -format（强制格式化需添加-force参数）。
启动HDFS服务：
在NameNode节点上启动HDFS：start-dfs.sh，然后检查服务状态：
hdfs dfsadmin -report # 查看DataNode是否注册成功
jps # 查看NameNode、DataNode进程是否运行
测试网络连通性：
ping命令测试节点间连通性：ping datanode1。telnet命令测试HDFS端口是否开放：telnet namenode 9000（若提示“Connected”则表示端口可达）。/etc/hosts映射是否正确、防火墙是否放行HDFS端口（如9000、50010、50070）、SSH免密登录是否配置成功。dfs.namenode.datanode.registration.ip-hostname-check是否设为false、DataNode数据目录权限是否正确（700）。ipc.client.connect.timeout参数（增大超时时间）、检查网络带宽是否充足。通过以上步骤，可完成Ubuntu环境下HDFS网络参数的配置与优化，确保集群节点间通信稳定、数据传输高效。
