CentOS下Hadoop集群搭建

CentOS 7 下搭建 Hadoop 3.x 集群

一 环境规划与准备

• 节点规划（示例）：
  • master：NameNode + ResourceManager
  • slave1、slave2：DataNode + NodeManager
• 软件与系统：
  • CentOS 7/8
  • Java 8（OpenJDK 8 或 Oracle JDK 8）
  • Hadoop 3.3.x（示例：3.3.1）
• 基础网络与主机名（所有节点一致）：
  • 配置静态 IP，编辑 /etc/hosts
  • 示例：

    192.168.1.100 master
    192.168.1.101 slave1
    192.168.1.102 slave2
    

  • 关闭防火墙或放行端口（示例关闭）：

    sudo systemctl stop firewalld
    sudo systemctl disable firewalld
    

  • 可选：临时关闭 SELinux（生产请按需配置策略）

    sudo setenforce 0
    sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
    

• 创建专用用户（所有节点）：

  sudo useradd hadoop
  sudo passwd hadoop
  su - hadoop
  

以上准备与网络、防火墙、SELinux、hosts 配置为集群互通与后续服务启动的基础。

二 安装 Java 与 Hadoop

• 安装 Java（所有节点）：

  sudo yum install -y java-1.8.0-openjdk-devel
  java -version
  

• 下载并解压 Hadoop（建议在主节点操作，随后同步到从节点）：

  wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  sudo tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local
  sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop
  sudo chown -R hadoop:hadoop /usr/local/hadoop
  

• 配置环境变量（所有节点，建议写入 ~/.bashrc 或 /etc/profile）：

  echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc
  echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
  echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
  source ~/.bashrc
  

以上步骤完成 Java 与 Hadoop 的基础安装与环境变量配置。

三 配置 Hadoop 核心文件

• 目录约定（所有节点创建数据目录）：

  mkdir -p $HADOOP_HOME/hdfs/{namenode,datanode}
  mkdir -p $HADOOP_HOME/yarn/local
  

• 配置文件路径：$HADOOP_HOME/etc/hadoop/
• core-site.xml

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
    </property>
  </configuration>
  

• hdfs-site.xml

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:///usr/local/hadoop/hdfs/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:///usr/local/hadoop/hdfs/datanode</value>
    </property>
  </configuration>
  

• mapred-site.xml（如文件不存在，先 cp mapred-site.xml.template mapred-site.xml）

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>
  

• yarn-site.xml

  <configuration>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>master</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
      <name>yarn.nodemanager.local-dirs</name>
      <value>/usr/local/hadoop/yarn/local</value>
    </property>
  </configuration>
  

• workers（或 slaves）文件（列出所有 DataNode 主机名）

  slave1
  slave2
  

• 将 /usr/local/hadoop 目录同步到所有从节点，并修正属主属组：

  rsync -av /usr/local/hadoop slave1:/usr/local/
  rsync -av /usr/local/hadoop slave2:/usr/local/
  ssh slave1 'sudo chown -R hadoop:hadoop /usr/local/hadoop'
  ssh slave2 'sudo chown -R hadoop:hadoop /usr/local/hadoop'
  

以上为核心配置与目录规划，覆盖 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 与 workers 文件。

四 启动与验证

• 配置 SSH 免密登录（主节点执行，确保能免密登录 master/slave1/slave2）

  ssh-keygen -t rsa -P ''
  ssh-copy-id master
  ssh-copy-id slave1
  ssh-copy-id slave2
  

• 格式化 NameNode（仅首次执行）

  hdfs namenode -format
  

• 启动集群

  start-dfs.sh
  start-yarn.sh
  

• 验证进程（各节点执行）

  jps
  # master 应看到：NameNode、ResourceManager
  # slave 应看到：DataNode、NodeManager
  

• 查看 HDFS 状态与 Web 界面

  hdfs dfsadmin -report
  # NameNode Web UI：http://master:50070
  # ResourceManager Web UI：http://master:8088
  

以上步骤完成集群启动与可用性验证，包含 SSH 免密、NameNode 格式化、启动脚本与 Web UI 检查。

五 常见问题与优化建议

• 无法免密登录：检查 ~/.ssh/authorized_keys 权限为 600，目录 ~/.ssh 权限为 700；确认 /etc/hosts 与 DNS 解析一致。
• 端口被防火墙拦截：生产环境不建议直接关闭防火墙，按需放行 HDFS（50070/50075/50090） 与 YARN（8088/8042） 等端口。
• 数据目录权限：确保 $HADOOP_HOME/hdfs 与 $HADOOP_HOME/yarn 目录属主为 hadoop:hadoop，否则进程无法写入。
• 副本数设置：测试环境可将 dfs.replication 设为 1 或 2，生产环境建议 3。
• 资源不足：为 ResourceManager/NodeManager 分配合理内存（如 yarn.nodemanager.resource.memory-mb、yarn.scheduler.maximum-allocation-mb），避免 OOM。
• 版本选择：Hadoop 3.3.x 与 JDK 8 组合稳定；如需 JDK 11，请确认所用 Hadoop 版本已声明支持。