温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hadoop分布式处理框架

发布时间:2020-06-04 04:25:36 来源:网络 阅读:543 作者:Red_Ant_hoyl 栏目:大数据

【简介】Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
1、解释下什么是Apache基金会?
答:Apache软件基金会(也就是Apache Software Foundation,简称为ASF),是专门为支持开源软件项目而办的一个非盈利性组织。在它所支持的Apache项目与子项目中,所发行的软件产品都遵循Apache许可证(Apache License)。
【作用】
Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上,而且它提供高吞吐量来访问应用程序数据,适合超大数据集的应用程序。
Hadoop的框架嘴和新的设计师:HDFS(海量数据存储)和MapReduce(为海量数据存储提供计算)。
Hadoop分布式处理框架
Hadoop分布式处理框架
【核心】
①Hadoop最底部是HDFS,它存储Hadoop集群中所有阶段上的文件。
②HDFS的上一层是MapReduce,由job 和task组成。
③通过HDFS和MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase。
2、解释下HDFS?
答:对于外部客户机而言,HDFS像传统的分级文件系统,可以创建、删除、移动或重命名文件等。Hadoop分布式处理框架
HDFS的架构基于一组特定的节点构建的,这些节点包括 :
NameNode(仅一个),它在 HDFS 内部提供元数据服务,是一个通常在 HDFS 实例中的单独机器上运行的软件,负责管理文件系统名称空间和控制外部客户机的访问。它决定是否将恩建映射到同一架构的不同节点上。
DataNode,它为 HDFS 提供存储块。存储在其中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)。内部所有的通信都基于标准TCP/IP协议。DataNode也是一个通常在HDFS实例中单独机器上运行的软件。Hadoop集群包含一个NameNode和大量的DataNode。DataNode以机架的形式组织,机架通过一个交换机将所有的系统连接起来。
Hadoop分布式处理框架
3、解释一下,利用HDFS进行文件操作?
答:
①HDFS并不是一个万能的文件系统,它主要目的是以流的形式访问写入的大型文件。
②如果客户机将文件写入到HDFS上,首先需要将文件缓存到本地的临时存储位置。
③如果缓存的数据大于所需的HDFS块大小,创建文件的请求将发送给NameNode。NameNode将以DataNode标识和目标块响应客户机。
④同时也通知将要保存文件块副本的DataNode。当客户机开始临时文件发送给第一个DataNode时,将立即通过管道方式将块内容转发给副本DataNode。
⑤客户机负责创建保存相同HDFS名称空间的校验和文件。在最后的文件块发送之后,NameNode将文件创建提交到它的持久化元数据存储。
4、Hadoop在实际中的而应用?
答:Hadoop技术广泛应用于互联网,如雅虎使用4000个节点的Hadoop集群来支持广告系统和web搜索;
Facebook使用1000个节点的Hadoop集群来存储日式,支持数据分析和机器学习;
百度用Hadoop处理每周200Tb的数据,从而进行搜索日志分析和网页数据挖掘;
淘宝的Hadoop系统用于存储并处理电子商务交易相关的数据。
5、MapReduce与Hadoop比较?
答:
Hadoop是一种分布式数据和计算的框架。它很擅长存储大量的半结构化的数据集。数据可以随机存放,所以一个磁盘的失败并不会带来数据丢失。Hadoop也非常擅长分布式计算——快速地跨多台机器处理大型数据集合 。
MapReduce是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。
6、HDFS基本原理是什么?
答:
①HDFS存储数据时,先将数据切成块,并为块分配一个有序编号;
②进行数据备份;
③将复制的备份放在不同的DataNode中;
④当DataNode宕机时,NameNode奖DataNode上存放的副本复制;
⑤从而使NameNode保持对DataNode的管理(是心动【节点状态】啊,糟糕眼神【节点存储的数据】躲不掉,对你莫名的心跳);

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI