数据仓库和Olap的区别是什么


这篇文章主要介绍“数据仓库和Olap的区别是什么”,在日常操作中,相信很多人在数据仓库和Olap的区别是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”数据仓库和Olap的区别是什么”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!大数据领域体系非常庞大,最近自己在了解数仓部分,做些记录。首先解释OLTP和OLAP的概念,作为开发对OLTP比较了解,操作对象是数据库,也称为OLTP数据库(比如Mysql),主要用于CRUD操作,讲求高并发、低延时,一般作为业务数据使用。而OLAP则是联机分析处理,做数据分析用的,比如进行数据聚合操作,它操作的数据源比较大,对性能要求相对较低。操作对象是数仓。有的时候OLAP也等同数仓。数仓一般是多维模型模型,数据分层,ETL处理。它的数据源来源很多,格式也很多,比如结构化的数据,非结构化的数据。对于ETL处理,需要对业务的理解非常透,比如MySQL是作为业务使用的,比如商品业务可能有很多类型的表,而到数仓后,可能会重新建模,比如分为维度表和事实表。现在我们面临两个问题,第一就是ETL机制非常弱,基本上是原样将MySQL库导入到数仓;第二业务库变更后,需要重新构建,对于业务数据库的理解总是落后的。那数仓有什么用呢,可以进行交互式查询,数据分析,数据挖掘,BI报表。根据不同的理解,数仓也有很多的分类,比如:1:根据建模分为MOLAP,ROLAP,HOLAPMOLAP需要进行预计算,将可能的查询结果存储起来,适合分析比较稳定的场景,Kylin是这个领域的解决方案。ROLAP是目前的主流,基于关系模型,构建在多维数据模型上,一般通过SQL就能查询。2:对于ROLAP:有两种解决方案,一种是宽表模型,比如现在比较流行的clockhouse;另外就是多表组合模型,比如Presto。3:从实时性分:分为实时数仓和离线数仓,本文主要理解离线数仓,也叫批处理,就是数据是提前准备好的,比如Hadoop就是解决这类问题的。4:对于OLAP来说,处理的数据是非常大的,为了加快处理,有两种解决方案:并行处理(比如 Hadoop 的Mapreduce,Spark,或者MPP架构的Presto),另外就是预计算(比如Kylin)。那具体如何选型呢?1:我们用的是比较常规的Hadoop,HDFS作为分布式存储,Mapreduce作为并行计算框架,但HDFS只是存储,没有结构化的概念,那怎么做数仓呢?使用Hive解决了两个问题,首先它存储表结构元数据,其次Hive查询中的sql自动变为MR并行任务,MR从元数据中读取信息,然后去HDFS中读取数据,最后进行运算。一般情况下这属于离线数仓,HDFS存储的是T-1的全量数据(不支持数据增删改查,只能整个文件覆盖),使用sqoop工具将MySQL导入到HDFS中。2:MPP on Hadoop 的解决方案由于MR操作HDFS的中间结果还是在磁盘,所以运算还是很慢的。Presto是基于MPP架构,充分利用各个节点的cpu能力,中间结果放入内存,减少磁盘消耗。比如Presto作为SQL执行引擎,本身不存储数据,它可以直接调用MySQL进行运算。也可以调用Hive,读取元数据,然后操作HDFS的数据,进行并行运算。有了Hive,有了Presto,结合可视化的BI工具,就能产生数据报表,进行数据分析和挖掘。最后简单说下BI,有个公式:BI平台=数据仓库+OLAP服务/报表。到此,关于“数据仓库和Olap的区别是什么”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继 香港云主机续关注开发云网站,小编会继续努力为大家带来更多实用的文章!

相关推荐: 如何快捷利用Windows7截图工具

这篇文章将为大家详细讲解有关如何快捷利用Windows7截图工具,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。方法一:使用“Print 香港云主机”按键/“ctrl”+“Print”按键在键盘上按下“Print”按键,随后打…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 07/30 12:43
下一篇 07/30 12:43

相关推荐