安装hadoop和配置hadoop，启动namenode和设置免密登录的详细解析！

首先安装hadoop要安装好java的开发环境，配置好jdk

其实创建一个hadoop的用户

cd到这个用户的目录下

创建一个apps的目录。以后所有的东西都解压进入apps

解压后的目录中的文件如下

这里lib是本地的库！

bin是自己的操作命令，

sbin是启动命令！

etc是配置文件

include是本地库的头文件！

我们的jar包在share文件中！

下图是share包中的目录

剩下就在前面的etc/hadoop/目录下的配置文件进行配置对红线标注的配置文件进行修改

这里我们先配置hadoop-env.sh

我们将JAVA_HOME的值设置在此处如下图，因为你要使用ssh远程连接，所以使用原有的${JAVA_HOME}行不通

第二部在core-site.xml文件中进行配置

上图中的配置第一个指定hadoop的文件系统，第二个指定集群每个主机的进程工作在哪个数据目录

第三修改hdfs.site.xml

把数据保存两份，做个备份！

然后修改mapred-site.xml.template

这里指定mapreduce运行的平台为yarn,否则他默认是local.

别忘了执行这个命令

第四接下来配置yarn-site.xml

装好之后，设置hadoop的环境变量！

主要就是这两个！

然后使用scp命令将apps目录整个复制到其他主机上

也将/etc/profile传过去

然后使用

这两个命令，一个是启动namenode节点，另一个是查看java的进程，这里用了看看namenode进行是否启动！

这里就表示已经启动了。

然后我们可以在使用ip地址进行可视化查看这个文件系统的各种情况！

http://192.168.150.129:50070/dfshealth.html#tab-overview

这里192.168.150.129是我mini1这个台虚拟机的ip。又来做namenode节点的主机！

然后我们可能看到使用的空间为0

这是因为我们没有启动datanode .所以这里我们随便启动一个主机的datanode

注意一定su hadoop这个用户下运行

使用命令 hadoop-daemon.sh start datanode

然后使用jps命令查看是否启动datanode的进程

如果在jps命令中没有DataNode那么你就查看，上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意这里唯一与上图中的不同，在于它是log，而上图是out

如果想要关闭这个datanode,可以使用

这个命令。

讲用脚本启动所有的datanode,和namenode

这里需要修改slaves的配置文件，

将其修改

可以将脚本话启动mini2和mini3作为datanode,mini1启动为namenode,(这里脚本就在mini1中运行)

但是要不断的输入密码。所以可以使用免密登录！！！！

情形是：我想在mini1中登录mini2，mini3然后可以免密码登录！

我们可以在mini1中使用命令ssh-keygen产生秘钥

然后依次拷贝到其他主机上

然后就可以正常使用了

这里我们看出来完全不用输入密码就可以直接启动！！！

配置完全后我们可以直接启动脚本！将slaves里面配置的全部启动！！

我们可以看出来，并没有输入任何密码

当然我们也可以使用命令直接将全部的都停止掉stop-dfs.sh