Linux下Hadoop怎样配置集群

以下是在Linux下配置Hadoop集群的步骤：

1. 环境准备：
   • 选择合适的Linux发行版，如CentOS 7或Ubuntu 20.04 LTS。
   • 安装Java环境，推荐OpenJDK 8或11。
   • 关闭防火墙，避免通信受阻。
   • 配置网络，确保节点间可互相访问，并为节点配置静态IP和主机名。
2. 安装Hadoop：
   • 从Apache官网下载Hadoop安装包，解压到指定目录。
   • 配置环境变量，编辑/etc/profile文件，添加JAVA_HOME、HADOOP_HOME及PATH等相关配置，然后执行source /etc/profile使配置生效。
3. 配置Hadoop核心文件：
   • core-site.xml：配置HDFS的默认文件系统和临时目录，如fs.defaultFS和hadoop.tmp.dir。
   • hdfs-site.xml：设置HDFS的副本数、数据目录等，如dfs.replication、dfs.namenode.name.dir和dfs.datanode.data.dir。
   • mapred-site.xml：指定MapReduce运行框架为YARN，即mapreduce.framework.name。
   • yarn-site.xml：配置YARN的资源管理器和节点管理器等相关参数，如yarn.nodemanager.aux - services和yarn.resourcemanager.hostname。
4. 配置SSH免密登录：
   • 在主节点上生成SSH密钥对，使用ssh-keygen -t rsa命令。
   • 将公钥复制到所有从节点的~/.ssh/authorized_keys文件中，可使用ssh-copy-id命令。
5. 配置节点信息：
   • 编辑/etc/hadoop/workers文件（或slaves文件），添加所有从节点的主机名或IP地址。
6. 分发配置文件：
   • 使用scp命令将配置好的Hadoop文件夹分发到所有从节点。
7. 启动集群：
   • 在主节点上执行hdfs namenode -format格式化NameNode。
   • 执行start-dfs.sh启动HDFS，执行start-yarn.sh启动YARN。
8. 验证集群：
   • 使用jps命令查看各节点上的Hadoop相关进程是否正常启动。
   • 通过浏览器访问HDFS的Web UI（如http://namenode - ip:9870）和YARN的Web UI（如http://namenode - ip:8088）来验证集群状态。