温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop大数据研发平台

发布时间:2020-08-28 11:29:02 来源:网络 阅读:455 作者:北京云港 栏目:大数据

一.开发平台:
•Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
•以分布式文件系统(Hadoop Distributed File Syste, HDFS)和MapReduce为核心的Hadoop为用户提供了系统底层细节透明分布式基础架构
•HDFS的高容错、高伸缩的优点允许用户将Hadoop部署在低廉的硬件上
•MapReduce则允许用户在不了解分布式系统底层细节的情况下开发并行应用程序
二.优势:
•高可靠性 ---因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理
•高扩展性 --- 在集群间分配任务数据,可方便的扩展数以千计的节点
•高效性 ---在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度
•高容错性 --- 自动保存多份副本数据,并且能够自动将失败的任务重新分配
三.应用及发展趋势:
•Yahoo :通过集群运行Hadoop,以支持广告系统和Web搜索
•FaceBook: (Hive贡献者)借助Hadoop来支持其数据分析和机器学习
•淘宝:国内使用Hadoop最深入的公司,整个淘宝和阿里都是数据驱动的
•华为:云计算平台
•优酷:日志分析、推荐等
•奇虎360:存储软件管家中的软件,日志分析和数据挖掘
•百度: 国内使用Hadoop最早的公司,存储、日志分析、推荐、机器学习等

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI