温馨提示×

数据仓库和Olap的区别是什么

发布时间:2021-06-26 14:38:27 来源:亿速云 阅读:447 作者:chen 栏目:大数据

这篇文章主要介绍“数据仓库和Olap的区别是什么”,在日常操作中,相信很多人在数据仓库和Olap的区别是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”数据仓库和Olap的区别是什么”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

大数据领域体系非常庞大,最近自己在了解数仓部分,做些记录。

首先解释OLTP和OLAP的概念,作为开发对OLTP比较了解,操作对象是数据库,也称为OLTP数据库(比如Mysql),主要用于CRUD操作,讲求高并发、低延时,一般作为业务数据使用。

而OLAP则是联机分析处理,做数据分析用的,比如进行数据聚合操作,它操作的数据源比较大,对性能要求相对较低。操作对象是数仓。有的时候OLAP也等同数仓。

数仓一般是多维模型模型,数据分层,ETL处理。它的数据源来源很多,格式也很多,比如结构化的数据,非结构化的数据。

对于ETL处理,需要对业务的理解非常透,比如MySQL是作为业务使用的,比如商品业务可能有很多类型的表,而到数仓后,可能会重新建模,比如分为维度表和事实表。

现在我们面临两个问题,第一就是ETL机制非常弱,基本上是原样将MySQL库导入到数仓;第二业务库变更后,需要重新构建,对于业务数据库的理解总是落后的。

那数仓有什么用呢,可以进行交互式查询,数据分析,数据挖掘,BI报表。

根据不同的理解,数仓也有很多的分类,比如:

1:根据建模分为MOLAP,ROLAP,HOLAP

MOLAP需要进行预计算,将可能的查询结果存储起来,适合分析比较稳定的场景,Kylin是这个领域的解决方案。

ROLAP是目前的主流,基于关系模型,构建在多维数据模型上,一般通过SQL就能查询。

2:对于ROLAP:有两种解决方案,一种是宽表模型,比如现在比较流行的clockhouse;另外就是多表组合模型,比如Presto。

3:从实时性分:分为实时数仓和离线数仓,本文主要理解离线数仓,也叫批处理,就是数据是提前准备好的,比如Hadoop就是解决这类问题的。

4:对于OLAP来说,处理的数据是非常大的,为了加快处理,有两种解决方案:并行处理(比如 Hadoop  的Mapreduce,Spark,或者MPP架构的Presto),另外就是预计算(比如Kylin)。

那具体如何选型呢?

1:我们用的是比较常规的Hadoop,HDFS作为分布式存储,Mapreduce作为并行计算框架,但HDFS只是存储,没有结构化的概念,那怎么做数仓呢?

使用Hive解决了两个问题,首先它存储表结构元数据,其次Hive查询中的sql自动变为MR并行任务,MR从元数据中读取信息,然后去HDFS中读取数据,最后进行运算。

一般情况下这属于离线数仓,HDFS存储的是T-1的全量数据(不支持数据增删改查,只能整个文件覆盖),使用sqoop工具将MySQL导入到HDFS中。

2:MPP on Hadoop 的解决方案

由于MR操作HDFS的中间结果还是在磁盘,所以运算还是很慢的。

Presto是基于MPP架构,充分利用各个节点的cpu能力,中间结果放入内存,减少磁盘消耗。

比如Presto作为SQL执行引擎,本身不存储数据,它可以直接调用MySQL进行运算。

也可以调用Hive,读取元数据,然后操作HDFS的数据,进行并行运算。

有了Hive,有了Presto,结合可视化的BI工具,就能产生数据报表,进行数据分析和挖掘。

最后简单说下BI,有个公式:

BI平台=数据仓库+OLAP服务/报表。

到此,关于“数据仓库和Olap的区别是什么”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐内容:OLTP和OLAP的区别是什么

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

免费拨打  400 100 2938 免费拨打 400 100 2938
24小时售后技术支持 24小时售后技术支持
返回顶部 返回顶部