温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

cdh4云存储最实用搭建方法

发布时间:2020-06-27 11:25:18 来源:网络 阅读:6262 作者:zhouyuqin3510 栏目:关系型数据库

一、cdh是什么
CDH is Cloudera’s 100% open source Hadoop distribution, built specifically to meet enterprise demands
即一个开源的分布式存储系统
二、cdh5包含了哪些软件和功能
首先hbase,hadoop,zookeeper这些是必不可少的
其次hive,oozie,Map/Reduce也可以集成在其中
HBase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”
hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储
ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行
Oozie是一种框架,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上
三、cdh5的安装
cdh5安装一般来讲通俗的方法就是登录官方网站http://www.cloudera.com/blog/2012/02/introducing-cdh5/
下载所需rpm包,根据官方文档,一路yum安装,最后配置即可


这里我要介绍的是通过cloudera-manager来安装cdh5的安装过程
cloudera-manager也是apache基金会的产品,目前有免费版与商业版两种,免费版只支持50个节点,商业版不限制
当然一般情况50个节点也就够用了,这里我们用的就是cloudera-manager的免费版
官方下载地址:https://ccp.cloudera.com/display/SUPPORT/Downloads
1.安装环境
node1:192.168.1.124 centos6.2系统
node2:192.168.1.163 centos6.2系统
iptables关闭
selinux关闭
2.安装cloudera-manager
node1:
官方下载后会得到一个可执行文件cloudera-manager-installer.bin
这里需要我们事先安装X Window System包组,原因很简单,图形化安装界面
这里安装时会自动yum安装他所需要的包,大约有100多M,yum安装,自动下载的,由于是外国的源,加上公司限速,天朝的种种策略等,经常会导致卡死不动,一天也安装不完的状况
我的安装方法是直接中断图形化界面的安装,就是直接kill掉,这时候他需要导入的yum源已经导入到我们的系统里了
根据yum源里面的连接http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.0.4/
自己手动下载,如下包

cdh4云存储最实用搭建方法

下载完成后,使用yum本地安装
yum localinstall --nogpgcheck *.rpm
yum安装完成后,重新运行cloudera-manager-installer.bin完成安装(如果安装失败,提示已安装,则进入/usr/share/cmf目录中,删除掉uninstall-cloudera-manager.sh文件即可)
附1:两台主机都要装,只是一台运行图形化界面,作为控制台,另一台不用动,这里我是使用的node1节点作为控制台
附2:两台主机jdk也要实现安装好,否则也会自动下载安装,推荐用rpm包安装的jdk
3.安装cdh5
①.cloudera-manager安装完成后,会自动启动,可以通过netstat -tnlp发现启动了7182,7180等端口

cdh4云存储最实用搭建方法


通过网页连接http://192.168.1.124:7180进入cloudera-manager的web管理入口,默认管理员用户admin,密码admin

cdh4云存储最实用搭建方法


登录之后会提示如下框,即是使用免费版还是商业版,我们选择免费使用

cdh4云存储最实用搭建方法


②.之后就是完全cloudera-manager控制台web界面的安装,很简单
首先搜索主机,将两主机ip填入,搜索到主机,然后选择安装

cdh4云存储最实用搭建方法


安装版本cdh5,等等,然后就是读条的安装页面,这里跟安装cloudera-manager一样,yum源文件出来之后,直接中断,然后回到系统kill掉yum进程,关闭页面
,通过/etc/yum.repos.d/cloudera-cdh5.repo查看所需下载软件连接http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/4/下载如下rpm包

cdh4云存储最实用搭建方法


然后跟上面一样,yum localinstall --nogpgcheck *.rpm
最后重新打开http://192.168.1.124:7180页面重新对主机进行安装
附1:cloudera-manager控制台对于已经安装过的软件包不再重新下载安装
附2:如果网速好的话,可以不用中断,直接图形化界面等待安装完成,但是如果失败了,千万不要点重试,重试会卸载已安装内容,也就是重头再来,由于外国的源,网速神马的都懂的
③.安装玩以上内容后,会有个主机检测,主机多的话会比较慢,这个看个人而定,检测完之后,可以选择服务,这里我选择的是hbase,hadoop,zookeeper,然后启动服务
服务状况实时检测

cdh4云存储最实用搭建方法


主机状况实时检测

cdh4云存储最实用搭建方法


进入主机,打开hbase shell测试

cdh4云存储最实用搭建方法


到这里cdh5框架就可以使用了
附:对于没有选择的服务,默认也是不启动的,这个不用担心,如果需要用到hive等,可自行手动执行

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI