温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop3.3集群搭建方法

发布时间:2021-07-28 18:18:43 来源:亿速云 阅读:376 作者:chen 栏目:大数据

本篇内容介绍了“hadoop3.3集群搭建方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce

概念

  • HDFS 是一个分布式文件系统:引入存放文件元数据信息的服务器namenode和实际存放数据的服务器Datanode,对数据进行分布式储存和读取。 

  • MapReduce 是一个计算框架:MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分(Map计算/Reduce计算)再根据任务调度器(JobTracker)对任务进行分布式计算。

服务 fsimage:元数据镜像文件(文件系统的目录树。) edits:元数据的操作日志(针对文件系统做的修改操作记录) NameNode 处理客户端的读写请求;配置副本策略;保存HDFS的元数据信息,比如命名空间信息,块信息等。当它运行的时候,这些信息是存在内存(保存的fsimage+edits)中的。但是这些信息也可以持久化到磁盘上 SecondaryNameNode 是专门做NameNode 中edits 文件向fsimage 合并数据,然后再发给namenode,防止edits过大的一种解决方案 NodeManager管理一个YARN集群中的每一个节点。比如监视资源使用情况( CPU,内存,硬盘,网络),跟踪节点健康等。 ResourceManager是Yarn集群主控节点,负责协调和管理整个集群(所有NodeManager)的资源 DataNode:负责存储client发来的数据块block;执行数据块的读写操作。 热备份:b是a的热备份,如果a坏掉。那么b马上运行代替a的工作。 冷备份:b是a的冷备份,如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息,减少a坏掉之后的损失。

集群

环境:

  • centos7

  • jdk1.8.0_241 / hadoop-3.3

本文使用的3.3新版本搭建集群(一主两从)

192.168.41.128   server1
192.168.41.129   server2
192.168.41.130   server3
#禁用selinux
/etc/selinux/config 

#配置免密登录
 ssh-keygen 
 ssh-copy-id -i .ssh/id_rsa.pub root@server2
 ssh-copy-id -i .ssh/id_rsa.pub root@server3
  1. 安装jdk 略..

  2. 下载解压: tar zxvf hadoop-3.3.0.tar.gz

  3. 配置 详细查阅:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

#Administrators should use the etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh and etc/hadoop/yarn-env.sh scripts to do site-specific customization of the Hadoop daemons’ process environment.官网原话,意思要指定JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64

#etc/hadoop/core-site.xml 
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://server1:9000</value>
  </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop-3.3.0/tmp</value>
 </property> 

#etc/hadoop/hdfs-site.xml,指定数据的副本数,小于等于从节点数
 <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>server1:50090</value>
  </property>

#etc/hadoop/yarn-site.xml,yarn配置资源管理器,提供统一的资源管理和调度
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>server1</value>
  </property>

#etc/hadoop/mapred-site.xml,mapreduce的执行引擎
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
  1. 初始化hdfs: bin/hdfs namenode -format

  2. 修改执行角色

#sbin/start-dfs.sh,sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#sbin/start-yarn.sh,sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  1. 配置从节点 etc/hadoop/works,修改对应主机

  2. 启动 sbin/start-all.sh

  3. 访问 http://192.168.41.128:9870/ 即主机+端口可以访问显示如下说明成功了 hadoop3.3集群搭建方法

“hadoop3.3集群搭建方法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI