温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何​测试Hadoop分布式集群环境

发布时间:2021-12-16 14:41:32 来源:亿速云 阅读:148 作者:iii 栏目:云计算

本篇内容主要讲解“如何测试Hadoop分布式集群环境”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何测试Hadoop分布式集群环境”吧!

测试Hadoop分布式集群环境

首先在通过Master节点格式化集群的文件系统:

如何​测试Hadoop分布式集群环境

输入“Y”完成格式化:

如何​测试Hadoop分布式集群环境

格式化完成以后,我们启动hadoop集群

如何​测试Hadoop分布式集群环境

我们在尝试一下停止Hadoop集群:

如何​测试Hadoop分布式集群环境

此时出现了“no datanode to stop”的错误,出现这种错误的原因如下:

每次使用 “hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId,而我我们在搭建Hadoop单机伪分布式版本的时候往我们自己创建的tmp目录下放了数据,现在需要把各台机器上的“/usr/local/hadoop/hadoop-1.2.1/”下面的tmp及其子目录的内容清空,于此同时把“/tmp”目录下的与hadoop相关的内容都清空,最后要把我们自定义的hdfs文件夹中的data和name文件夹中的内容清空:

如何​测试Hadoop分布式集群环境

把Slave1和Slave2中同样的内容均删除掉。

重新格式化并重新启动集群,此时进入Master的Web控制台:

如何​测试Hadoop分布式集群环境

此时可以看到Live  Nodes只有三个,这正是我们预期的,因为我们Master、Slave1、Slave2都设置成为了DataNode,当然Master本身同时也是NameNode。

此时我们通过JPS命令查看一下三台机器中的进程信息:

如何​测试Hadoop分布式集群环境

如何​测试Hadoop分布式集群环境

如何​测试Hadoop分布式集群环境

发现Hadoop集群的各种服务都正常启动。

至此,Hadoop集群构建完毕。

到此,相信大家对“如何测试Hadoop分布式集群环境”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI