centos与hdfs网络如何配置

以下是CentOS与HDFS网络配置的核心步骤，需根据实际环境调整参数：

一、基础网络配置

1. 设置静态IP
   编辑网络接口文件（如/etc/sysconfig/network-scripts/ifcfg-ens33）：

   BOOTPROTO=static  
   IPADDR=192.168.1.100  # 替换为实际IP  
   NETMASK=255.255.255.0  
   GATEWAY=192.168.1.1  
   DNS1=8.8.8.8  
   ONBOOT=yes  
   

   重启网络：sudo systemctl restart network。

2. 配置主机名与hosts文件

   • 设置主机名：sudo hostnamectl set-hostname namenode（主节点）或datanode（从节点）。
   • 编辑/etc/hosts，添加节点IP与主机名映射（所有节点需一致）：

     192.168.1.100 namenode  
     192.168.1.101 datanode1  
     192.168.1.102 datanode2  
     

二、HDFS核心配置

1. 配置环境变量
   编辑/etc/profile，添加：

   export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk  # 根据实际Java路径调整  
   export HADOOP_HOME=/path/to/hadoop  # 替换为Hadoop安装路径  
   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH  
   

   使配置生效：source /etc/profile。

2. 修改Hadoop配置文件

   • core-site.xml（$HADOOP_HOME/etc/hadoop/）：

     <property>  
       <name>fs.defaultFS</name>  
       <value>hdfs://namenode:9000</value>  # NameNode主机名+端口  
     </property>  
     

   • hdfs-site.xml：

     <property>  
       <name>dfs.replication</name>  
       <value>3</value>  # 副本数，根据集群规模调整  
     </property>  
     <property>  
       <name>dfs.namenode.name.dir</name>  
       <value>/path/to/namenode/dir</value>  # NameNode元数据存储路径  
     </property>  
     <property>  
       <name>dfs.datanode.data.dir</name>  
       <value>/path/to/datanode/dir</value>  # DataNode数据存储路径  
     </property>  
     

三、服务启动与验证

1. 格式化NameNode（首次启动需执行）

   hdfs namenode -format  
   

2. 启动HDFS集群

   start-dfs.sh  # 启动NameNode和DataNode  
   

3. 验证网络连通性

   • 使用ping测试节点间连通性：ping namenode。
   • 通过Web界面查看状态：
     • NameNode：http://namenode:9870（Hadoop 3.x默认端口）
     • DataNode：http://datanode:9864

四、关键注意事项

• 防火墙：确保开放HDFS所需端口（如9000、9870等），可通过firewall-cmd配置。
• SELinux：若启用，需临时关闭或配置允许HDFS访问：sudo setenforce 0。
• 配置一致性：所有节点的hdfs-site.xml和core-site.xml需保持一致，尤其是主机名和端口。

参考来源：