温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hadoop,Spark,Strom,Hive的特点是什么

发布时间:2021-12-09 15:44:33 来源:亿速云 阅读:167 作者:iii 栏目:编程语言

本篇内容主要讲解“Hadoop,Spark,Strom,Hive的特点是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop,Spark,Strom,Hive的特点是什么”吧!

Hadoop :是一种分布式系统基础架构当处理海量数据的程序,开始要求高可靠、高扩展、高效、低容错、低成本的场景

MapReduce: MapReduce 是一种编程模型,用于大规模数据集(大于 1TB) 的并行运算。MapReduce 的典型应用场景中,目前日志分析用的比较多,还有做搜素的索引,机器学习算法包 mahout 也是之一,当然它能做的东西还有很多,比如数据掘、信息提取。

Spark:拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。数据过于繁杂,并且需要让计算通过迭代,并在内存中,极大地提高效率的场景

Strom:一个分布式实时计算系统,Storm是一个任务并行连续计算引擎。Storm 本身并不典型在 Hadoop 集群上运行,它使用 Apache ZooKeeper 的和自己的主/从工作进程,协调拓扑,主机和工作者状态,保证信息的语义。无论如何, Storm必定还是可以从 HDFS 文件消费或者从文件写入到 HDFS。

Hive:基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。应用场景:十分适合数据仓库的统计分析。

Hbase:应用场景: 数据量太大,以至于传统 RDBMS 无法胜任、联机业务功能开发、离线数据分析(数据仓库)

到此,相信大家对“Hadoop,Spark,Strom,Hive的特点是什么”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

向AI问一下细节
推荐阅读:
  1. Hive On Spark
  2. strom基础

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI