温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ambari 搭建hadoop大数据平台系列1-概述

发布时间:2020-07-14 17:34:43 来源:网络 阅读:729 作者:TIMES2020 栏目:大数据

        最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari 的文章并不多,但好在ambari 官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop 平台。


分三个部分:



1. 为什么选择ambari 来搭建

        说到ambari, 主要的对手cloudrea manager ,大家比较熟悉,至于各自长短,优势劣汰,大家自己斟酌选择啦。

    Cloudera Manager is different. It's a web interface formanaging a Cloudera Cluster. It lets you install and update software on thecluster, monitor resource usage, restart services, deploy (copy to all servers)configuration files etc. Cloudera Manager is for admins.

    The analog to Cloudera Manager, from the open sourcecommunity, would be Apache "Ambari," which provides similarfunctionality. The Hortonworks Data Platform (HDP) can be deployed and managedusing Ambari.

    Both Cloudera Manager and Ambari run through a webinterface.


ambari 搭建hadoop大数据平台系列1-概述




2.整个构建过程的总览步骤


##################################################################################################

第一步 客户机配置:

检查 centos 版本,selinux ,firewalld ,hosts 记录,jdk1.8

检查时区和时间是否统一

yum install ntp

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

配置root ssh 免秘钥登陆

配置jdk1.8.025 

配置hosts 文件

##################################################################################################

第二步:本地仓库搭建 

localRepository-11-32 

##################################################################################################

第三步:配置ambari-server   ambari-11-10

生成ssh 秘钥

配置ssh 无秘钥登陆客户机

安装ambari-server 

配置ambari-server 

启动ambari-server 

##################################################################################################

第四步:web  登陆 ambari并安装组件

配置ambari-server 选项

选择并启动相应组件

##################################################################################################

第五步: 检查并测试 服务

web 检查组件服务是否正常启动

shell 端检查服务是否健康

hdfs fsck / -files -blocks -locations

 java api/ python 检查服务是否正常

##################################################################################################

第六步:文档编写

截图

配文字说明

总结

##################################################################################################






3.实例截图与测试


ambari 搭建hadoop大数据平台系列1-概述



ambari 搭建hadoop大数据平台系列1-概述






向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI