CentOS HDFS网络配置指南

在CentOS系统上配置Hadoop分布式文件系统（HDFS）涉及多个步骤，包括网络配置、Hadoop环境设置、以及HDFS特定的配置。以下是一个基本的指南，帮助你在CentOS系统上配置HDFS网络。

1. 网络配置

• 配置静态IP地址：

  1. 编辑网络接口配置文件，通常位于 /etc/sysconfig/network-scripts/ifcfg-eth0。
  2. 设置 BOOTPROTO 为 static，然后添加 IPADDR、NETMASK、GATEWAY 和 DNS1 等参数。
  3. 例如：

     TYPE=Ethernet
     PROXY_METHOD=none
     BROWSER_ONLY=no
     BOOTPROTO=static
     DEFROUTE=yes
     IPV4_FAILURE_FATAL=no
     IPV6INIT=yes
     IPV6_AUTOCONF=yes
     IPV6_DEFROUTE=yes
     IPV6_FAILURE_FATAL=no
     IPV6_ADDR_GEN_MODE=stable-privacy
     NAME=ens33
     UUID=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
     DEVICE=ens33
     ONBOOT=yes
     IPADDR=192.168.1.100
     NETMASK=255.255.255.0
     GATEWAY=192.168.1.1
     DNS1=8.8.8.8
     DNS2=114.114.114.114
     

  4. 保存并关闭文件，然后重启网络服务：

     sudo systemctl restart network
     

• 配置主机名和hosts文件：

  1. 设置主机名：

     hostnamectl set -hostname hadoop-master
     

  2. 编辑 /etc/hosts 文件，添加集群节点的IP地址和主机名映射：

     192.168.1.100 hadoop-master
     192.168.1.101 hadoop-node1
     192.168.1.102 hadoop-node2
     

• 配置SSH免密登录：

  1. 生成SSH密钥对：

     ssh-keygen -t rsa
     

  2. 将公钥复制到本地：

     ssh-copy-id hadoop@your_namenode_host
     

• 配置防火墙：

  1. 开放HDFS所需端口，例如9000端口：

     sudo firewall-cmd --permanent --zone public --add-port 9000/tcp
     sudo firewall-cmd --reload
     

2. Hadoop环境配置

• 安装Java环境：

  sudo yum install java-1.8.0-openjdk-devel
  

  设置Java环境变量：

  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export PATH=$JAVA_HOME/bin:$PATH
  

• 配置Hadoop环境变量： 编辑 /etc/profile 文件，添加Hadoop的环境变量：

  export HADOOP_HOME=/path/to/your/hadoop
  export PATH=$HADOOP_HOME/bin:$PATH
  

  使配置生效：

  source /etc/profile
  

• 配置Hadoop配置文件：

  • core-site.xml：

    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
      </property>
    </configuration>
    

  • hdfs-site.xml：

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>3</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/namenode/dir</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/datanode/dir</value>
      </property>
    </configuration>
    

3. 启动HDFS

• 格式化NameNode：

  hdfs namenode -format
  

• 启动HDFS：

  start-dfs.sh
  

4. 验证配置

• 检查HDFS状态：

  hdfs dfsadmin -report
  

• 访问Web界面： 打开浏览器，访问 http://namenode:9000，查看HDFS的状态信息。