温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

presto、sparksql、druid、kylin、clickhouse是什么

发布时间:2021-12-10 13:47:39 来源:亿速云 阅读:393 作者:小新 栏目:大数据

小编给大家分享一下presto、sparksql、druid、kylin、clickhouse是什么,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

presto和sparksql只是计算引擎,不做数据存储

相对于sparksql,presto是纯内存计算,尽量使用整个集群中的内存,sparksql依赖于分配的executor数量,在executor内存不足时会落盘;

相对于sparksql,presto启动执行更迅速,sparksql要依赖yarn调度资源;

相对于sparksql,presto带有分页功能,在分页查询时更有优势;

相对于presto,sparksql运行更稳定,presto会经常出现oom;

druid、kylin、clickhouse都是存储加计算引擎

druid和kylin更适合预聚合场景,其中druid是时序数据库,对所有维度列枚举值建立bitmap索引,所以维度枚举值如果较多的话,数据膨胀会比较厉害;kylin是通过MapReduce任务枚举维度组合,每一种维度组合对应一张hbase表,维度组合值为主键,通过hbase rowkey实现快速访问,因为实现要指定维度组合情况,所以kylin适合业务场景比较固定的情况,这也是hbase的特点,通过单一的key查询数据。

clickhouse可以对数据分区,建立主键,对命中主键的明细数据聚合查询较快,这种对于一些维度枚举值较多的数据比较适合,没有数据膨胀

结论

druid和kylin主要针对预聚合场景,因此查询较快,qps较高,但是因为数据做了聚合,无法查看明细数据,不支持join;clickhouse、presto、sparksql主要是扫描原始数据,实时聚合,因此查询较慢,qps较低,但是clickhouse有主键索引,数据都存在本地,因此查询速度明显快于presto和sparksql,但是presto、sparksql join性能更好

看完了这篇文章,相信你对“presto、sparksql、druid、kylin、clickhouse是什么”有了一定的了解,如果想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI