本篇内容介绍了“如何搭建hadoop”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
(1)静态IP配置 编辑 vi /etc/sysconfig/network-scripts/ifcfg-ens33
三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步）
TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=84435f7d-0321-4f1a-817f-0f9f1cf39d43 DEVICE=ens33 ONBOOT=yes IPADDR=192.168.80.101 NETMASK=255.255.255.0 GATEWAY=192.168.80.2 DNS1=8.8.8.8 DNS2=8.8.4.4
** systemctl restart network
(2)关闭防火墙
systemctl status firewalld.service 查看firewall状态 systemctl stop firewalld.service 停⽌firewall systemctl disable firewalld.service 禁⽌firewall开机启动 关闭本机电脑防⽕墙后，可以在本地ping 虚拟机ip
(2.1)三态机器关闭selinux
安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系 统。 关闭安全策略否则SELinux服务开启后导致SSH连接异常。 修改文件 vi /etc/selinux/config
(3)修改主机名
vi /etc/sysconfig/network
(4) 配置hostname与IP映射 
(5)配置免密登录 
前提：配置hostname与IP映射 第一步：在三台机器器执行行以下命令，生成公钥与私钥 第二步：将centos7-2和centos7-3的公钥拷贝到centos7-1 第三步：再将centos7-1的公钥分发给centos7-2和centos7-3 第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要执行，产生公钥和私钥 第二步：在centos7-1 ,centos7-2和centos7-3上执行: ssh-copy-id centos7-1 将公钥拷贝到centos7-1上面去 第三步： scp authorized_keys centos7-2:$PWD scp authorized_keys centos7-3:$PWD 使用ssh完成免密登录即可 （ssh centos7-2）
(6)集群时间同步
6.1. 查看本机当前时间--date 6.2. 设置本机当前时间 date -s "2018-08-17 20:08:09" 6.3. 通过命名和时钟服务器同步时间: 网络计时协议（NTP） : net time protocal ntpdate us.pool.ntp.org 6.4. 编辑定时任务 crontab -e 6.5) 定时任务内容如下 */1 * * * * /usr/sbin/ntpdate us.pool.ntp.org; 每隔1分钟执行指令一次
在/opt⽬录下创建⽂件夹
mkdir -p /opt/lagou/software --软件安装包存放⽬录 mkdir -p /opt/lagou/servers --软件安装⽬录
3 Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/
登录linux121节点；进⼊/opt/lagou/software,解压安装⽂件到/opt/lagou/servers
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers
查看是否解压成功
ll /opt/lagou/servers/hadoop-2.9.2
添加Hadoop到环境变量 vim /etc/profile
##HADOOP_HOME export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
使环境变量⽣效
source /etc/profile
验证hadoop
hadoop version
hadoop 目录
drwxr-xr-x 2 root root 194 Nov 13 2018 bin drwxr-xr-x 3 root root 17 Oct 31 01:09 data drwxr-xr-x 3 root root 20 Nov 13 2018 etc drwxr-xr-x 2 root root 106 Nov 13 2018 include drwxr-xr-x 3 root root 20 Nov 13 2018 lib drwxr-xr-x 2 root root 239 Nov 13 2018 libexec -rw-r--r-- 1 root root 106210 Nov 13 2018 LICENSE.txt drwxr-xr-x 3 root root 4096 Nov 2 07:20 logs -rw-r--r-- 1 root root 15917 Nov 13 2018 NOTICE.txt -rw-r--r-- 1 root root 1366 Nov 13 2018 README.txt drwxr-xr-x 3 root root 4096 Nov 13 2018 sbin drwxr-xr-x 4 root root 31 Nov 13 2018 share 1. bin⽬录:对Hadoop进⾏操作的相关命令，如hadoop,hdfs等 2. etc⽬录：Hadoop的配置⽂件⽬录，⼊hdfs-site.xml,core-site.xml等 3. lib⽬录：Hadoop本地库（解压缩的依赖） 4. sbin⽬录：存放的是Hadoop集群启动停⽌相关脚本，命令 5. share⽬录：Hadoop的⼀些jar,官⽅案例jar，⽂档等
(Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置)
HDFS集群配置
1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh） 2. 指定NameNode节点以及数据存储⽬录（修改core-site.xml） 3. 指定SecondaryNameNode节点（修改hdfs-site.xml） 4. 指定DataNode从节点（修改etc/hadoop/slaves⽂件，每个节点配置信息占⼀⾏）
MapReduce集群配置
1. 将JDK路径明确配置给MapReduce（修改mapred-env.sh） 2. 指定MapReduce计算框架运⾏Yarn资源调度框架（修改mapred-site.xml）
Yarn集群配置
1. 将JDK路径明确配置给Yarn（修改yarn-env.sh） 2. 指定ResourceManager⽼⼤节点所在计算机节点（修改yarn-site.xml） 3. 指定NodeManager节点（会通过slaves⽂件内容确定）
** 集群配置具体步骤：
1.配置：hadoop-env.sh 将JDK路径明确配置给HDFS vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231 2.指定NameNode节点以及数据存储⽬录（修改core-site.xml） vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux121:9000</value> </property> <!-- 指定Hadoop运⾏时产⽣⽂件的存储⽬录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value> </property> 2.1.core-site.xml的默认配置： https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core default.xml 3.指定secondarynamenode节点(修改hdfs-site.xml) vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux123:50090</value> </property> <!--副本数量 --> <property> <name>dfs.replication</name> <value>3</value> </property> 3.1官⽅默认配置 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop hdfs/hdfs-default.xml 4.指定datanode从节点(修改slaves⽂件，每个节点配置信息占⼀⾏) vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/slaves linux121 linux122 linux123 ** 注意：该⽂件中添加的内容结尾不允许有空格，⽂件中不允许有空⾏。
1.指定MapReduce使⽤的jdk路径（修改mapred-env.sh） vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231 2. 指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml) 2.1 mv mapred-site.xml.template mapred-site.xml vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 指定MR运⾏在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 2.2 mapred-site.xml默认配置 https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop mapreduce-client-core/mapred-default.xml
1.指定JDK路径 vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-env.sh export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231 2.指定ResourceMnager的master节点信息(修改yarn-site.xml) <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux123</value> </property> <!-- Reducer获取数据的⽅式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 2.1 yarn-site.xml的默认配置 https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn default.xml 3. 指定NodeManager节点（slaves⽂件已修改）
** 注意
Hadoop安装⽬录所属⽤户和所属⽤户组信息，默认是501 dialout，⽽我们操作Hadoop集群的⽤户使 ⽤的是虚拟机的root⽤户， 所以为了避免出现信息混乱，修改Hadoop安装⽬录所属⽤户和⽤户组！！ chown -R root:root /opt/lagou/servers/hadoop-2.9.2
rsync 远程同步⼯具
rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。
rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂ 件都复制过去。
3.2.1. 基本语法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname
3.2.2. 三台虚拟机安装rsync (执⾏安装需要保证机器联⽹)
yum install -y rsync
3.2.3. 把linux121机器上的/opt/lagou/software⽬录同步到linux122服务器的root⽤户下的/opt/⽬录
rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software
3.2.4 分发脚本
#!/bin/bash #1 获取命令输⼊参数的个数，如果个数为0，直接退出命令 paramnum= $# if ((paramnum == 0 )) ; then echo no params; exit ; fi #2 根据传⼊参数获取⽂件名称 p1= $1 file_name= `basename $p1 ` echo fname= $file_name #3 获取输⼊参数的绝对路径 pdir= `cd -P $(dirname $p1 ) ; pwd` echo pdir= $pdir #4 获取⽤户名称 user= `whoami` #5 循环执⾏rsync for ((host = 101 ; host < 104 ; host ++ )) ; do echo ------------------- linux $host -------------- rsync -rvl $pdir / $file_name $user @hadoop $host : $pdir done
3.2.5 修改脚本 rsync-script 具有执⾏权限
[root@linux121 bin]$ chmod 777 rsync-script
3.2.6 调⽤脚本形式：rsync-script ⽂件名称
[root@linux121 bin]$ rsync-script /home/root/bin
3.2.7 调⽤脚本分发Hadoop安装⽬录到其它节点
[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2
** 注意：如果集群是第⼀次启动，需要在Namenode所在节点格式化NameNode，⾮第⼀次不⽤执⾏格 式化Namenode操作！！
[root@linux121 hadoop-2.9.2]$ hadoop namenode -format
格式化命令执行效果 
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode [root@linux121 hadoop-2.9.2]$ jps
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux121 hadoop-2.9.2]$ jps 3461 NameNode 3608 Jps 3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux122 hadoop-2.9.2]$ jps 3190 DataNode 3279 Jps [root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux123 hadoop-2.9.2]$ jps 3237 Jps 3163 DataNode
http://linux121:50070/dfshealth.html#tab-overview
[root@linux123 servers]# yarn-daemon.sh start resourcemanager [root@linux123 servers]# jps 7881 ResourceManager 8094 Jps [root@linux122 servers]# yarn-daemon.sh start nodemanager [root@linux122 servers]# jps 8166 NodeManager 8223 Jps [root@linux121 servers]# yarn-daemon.sh start nodemanager [root@linux121 servers]# jps 8166 NodeManager 8223 Jps
如果已经单节点⽅式启动了Hadoop,可以先停⽌之前的启动的Namenode与Datanode进程,如果 之前Namenode没有执⾏格式化，这⾥需要执⾏格式化!!!!
hadoop namenode -format
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh [root@linux121 hadoop-2.9.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode [root@linux122 hadoop-2.9.2]$ jps 3218 DataNode 3288 Jps [root@linux123 hadoop-2.9.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps
[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh
注意：NameNode和ResourceManger不是在同⼀台机器，不能在NameNode上启动 YARN，应该 在ResouceManager所在的机器上启动YARN。
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
yarn-daemon.sh start / stop resourcemanager / nodemanager
start-dfs.sh / stop-dfs.sh
start-yarn.sh / stop-yarn.sh
“如何搭建hadoop”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
