Hadoop数据库如何进行集群搭建

Hadoop 集群搭建实操指南

一 架构与准备

• 架构建议：至少准备3台服务器/虚拟机，推荐角色分配为：1 台 NameNode + ResourceManager（主节点），2 台及以上 DataNode + NodeManager（工作节点）。也可按业务扩展为更大规模集群。
• 软件环境：安装 Java 8 或 11、配置 SSH 免密登录、同步 NTP 时间、关闭或放行防火墙端口（如 9000/8020、50070、8088、2181、2888、3888 等，按实际配置为准）。
• 主机规划与解析：为每台机器设置唯一主机名（如 master、worker1、worker2），并在所有节点 /etc/hosts 中完成 IP 与主机名映射，便于组件间通信与故障排查。

二 安装与配置 Hadoop

• 安装步骤（所有节点）
  • 下载并解压 Hadoop 二进制包（示例：3.3.x/3.4.x），配置环境变量（示例）：
    • 编辑 ~/.bashrc 或 /etc/profile
      • export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
      • export HADOOP_HOME=/usr/local/hadoop
      • export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    • 使配置生效：source 对应文件
• 核心配置（$HADOOP_HOME/etc/hadoop）
  • hadoop-env.sh：设置 JAVA_HOME、HADOOP_LOG_DIR 等
  • core-site.xml：指定默认文件系统（示例：hdfs://master:8020 或 hdfs://namenode:9000）
  • hdfs-site.xml：设置 dfs.replication（建议与 DataNode 数一致）、dfs.namenode.name.dir、dfs.datanode.data.dir
  • mapred-site.xml：设置 mapreduce.framework.name=yarn
  • yarn-site.xml：设置 yarn.nodemanager.aux-services=mapreduce_shuffle
  • workers（或 slaves）：列出所有 worker 主机名
• 分发与初始化
  • 将配置好的 Hadoop 目录与 ~/.bashrc 同步到所有节点（可用 scp -r）
  • 仅在 NameNode 执行一次：hdfs namenode -format
  • 启动集群：在 master 执行 start-dfs.sh 与 start-yarn.sh；或使用 start-all.sh（若启用）

三 验证与常用操作

• 进程检查：在各节点执行 jps，应看到 NameNode/DataNode/ResourceManager/NodeManager 等关键进程
• HDFS 功能验证：
  • 创建目录：hdfs dfs -mkdir -p /user/hadoop
  • 上传文件：hdfs dfs -put /local/file /user/hadoop/
  • 查看文件：hdfs dfs -ls /user/hadoop/
• Web 界面：
  • HDFS NameNode：http://:50070
  • YARN ResourceManager：http://:8088
• 运行示例任务：执行 Hadoop 自带的 wordcount 示例，确认计算与调度链路正常

四 高可用 HA 扩展（可选）

• 前置组件：部署 ZooKeeper 集群（建议 3/5/7 节点），配置 myid 与 server.x 列表，端口 2181/2888/3888
• HDFS HA：启用 QJM/JournalNode 实现 Active/Standby NameNode 切换，配置 dfs.nameservices、dfs.ha.namenodes、dfs.namenode.rpc-address、dfs.client.failover.proxy.provider 等关键参数
• YARN HA：配置 ResourceManager HA（如基于 ZooKeeper 的 Active/Standby），确保调度连续性
• 启动顺序要点：先启 ZooKeeper，再启 JournalNode，随后启动 HDFS 与 YARN 相关进程

五 常见故障排查与优化

• 时间不同步：部署 NTP 统一时间，避免因时钟漂移导致异常
• 主机名与解析错误：核对 /etc/hosts 与主机名配置，尽量使用域名而非 IP
• SSH 免密失败：检查 ~/.ssh/authorized_keys 权限（建议 600）与目录权限（700）
• 防火墙/安全组：放行 HDFS/YARN/ZooKeeper 相关端口，或临时关闭防火墙验证连通性
• 资源与性能：合理设置 dfs.replication、容器内存与 vcore，结合 HDFS 均衡与 YARN 队列进行容量规划