OLAP讲义.ppt

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,Dept.of Computers,CUIT,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,在线分析处理,Online Analytical Processing,企业所面临的问题,如何从数据到信息？,大量时间整理数据，,而没有时间利用数据,平时数据缺失，,开会时数据海洋,传递渠道长，时效性差,部门间信息,“,壁垒,”,和信息孤岛,数据源多，一致性差,数据传递过程中,信息衰减或失真,随着企业信息化水平的提高，计算机技术的普及，如何准确、有效的利用这些数据成了企业所面临的问题,企业要实现的目标,系统结构,OLAP,发展背景,60,年代，关系数据库之父,E.F.Codd,提出了关系模型，促进了联机事务处理,(OLTP),的发展,(,数据以表格的形式而非文件方式存储,),。,1993,年，,E.F.Codd,提出了,OLAP,概念，认为：,OLTP,已不能满足终端用户对数据库查询分析的需要，,SQL,对大型数据库进行的简单查询也不能满足终端用户分析的要求。,用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。,因此，,E.F.Codd,提出了多维数据库和多维分析的概念，即,OLAP,。,OLAP,是目前,RDBMS,不可缺少的功能，可以作为一个独立的,OLAP,服务器实现，也可以集成在,RDBMS,中。,联机事务处理,联机事务处理,OLTP,（,On-Line Trasaction Process),又称事务型处理。信息系统中对日常事务的处理称为事务性处理。,例：,“,电话计费收费管理信息系统,”,中的典型事务型处理：,(1),客户增减。,(2),计费,(3),收费。,联机事务处理,联机事务处理的特性：,客观地反映了现实世界的实际活动过程。,具有原始性。每个处理均反映为客观世界的一次数据活动。,一般都呈现为短事务形式。一次操作内容简单、时间短。,次数多、频繁。,并发性要求高。,数据库是事务处理系统的核心和基础。数据库采用规范化的方式存储数据。数据库努力降低其冗余度，保证同一个数据不重复存储，保证数据的一致性。,联机分析处理,联机分析处理,OLAP,（,On-Line Analytical Process),：,指涉及对海量数据的复杂分析操作的数据处理过程。,以决策支持为目标。,主要为中、高级管理人员服务。,例：,电信公司中典型的分析型处理：,1.,客户分类及通话特点分析,2.,营销策略效果分析。,联机分析处理,分析型处理的特点,与事务型处理相比，分析型处理的特点：,范围广，涉及的问题多。,不确定性大。,需要的数据种类多，时间跨度大。,处理所需的时间长。,OLTP,与,OLAP,的比较,OLTP,OLAP,用户,操作人员，低层管理人员,决策人员，高级管理人员,功能,日常操作处理,分析决策,DB,设计,面向应用,面向主题,数据,当前的、最新的、细节的、二维的、分立的,历史的、聚集的、多维的、集成的、统一的,存取,读,/,写数十条记录,读上百万条记录,工作单位,简单的事务,复杂的查询,用户数,上千个,上百个,DB,大小,100MB,1GB,100GB,1TB,OLAP,的定义和目标,定义,1,：,OLAP(,联机分析处理,),是针对特定问题的联机数据访问和分析。通过对信息,(,维数据,),的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。,定义,2,：,OLAP(,联机分析处理,),是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。,(OLAP,委员会的定义,),OLAP,的目标,是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是,“,维,”,这个概念，因此,OLAP,也可以说是多维数据分析工具的集合。,OLAP,决策分析,OLAP,分析属于,验证驱动型发现,：用户首先提出自己的假设，然后利用,OLAP,工具检索查询以验证或否定假设。,OLAP,技术主要有两个特点：,在线,(On-Line):,表现为对用户请求的快速响应和交互操作，它的实现是由客户机服务器体系结构完成的；,多维分析,(Multi-Analysis):,这也是,OLAP,技术的核心所在。,OLAP,数据源,OLTP&Legacy,ERP,Flat Files,Data Warehouses,Data Marts,ODS,Spreadsheets,OLAP,的数据源多种多样，不仅仅局限于数据仓库,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,多维数据模型,多维数据模型又称多维概念视图，通常用,Cube,来表示。,多维数据模型可以更加直观的表示现实中的复杂关系,多维数据模型的基本组成：维、度量（变量、指标）,举例：计算,每一个商场,、,每个产品,的,销售额,OLAP,一些基本概念,变量,变量是数据的实际意义，即描述数据“是什么”。,变量总是一个数值度量指标，例如人数、单价、销售量等都是变量，而,100,则是变量的一个值。,OLAP,一些基本概念,2,维,维是人们观察数据的特定角度。,例如,:,企业常常从时间的角度来观察产品的销售，所以时间是一个维,(,时间维,),。,企业也时常从地理分布的角度来观察产品的销售，所以地理分布也是一个维,(,地理维,),。,还有如产品维、顾客维等。,OLAP,一些基本概念,3,维的层次,一个维往往具有多个层次,例如：,日期、月份、季度、年等就是时间维的层次；,城市、地区、国家等构成了地理维的层次。,OLAP,一些基本概念,维成员,维的一个取值称为该维的一个维成员。,如果一个维是多层次的，那么该维的维成员是由各个不同维层次的取值组合而成。例如：,时间维具有日期、月份、年这三个层次，分别在日期、月份、年上各取一个值组合起来，,就得到了时间维的一个维成员：“某年某月某日”。,一个维成员并不一定在每个维层次上都要取值，例如“某年某月”、“某月某日”、“某年”等等都是时间维的维成员。,对应一个数据项来说，维成员是该数据项在某维中位置的描述。例如,对一个销售数据来说，“某年某月某日”是该销售数据在时间维上位置的描述。,OLAP,一些基本概念,5,维的分类,维不但存在层次性，而且为了分析的需要常常需要定义“类”。类就是按照一定的划分标准对维的所有取值集合的一个分类划分。,比如，产品可分成“畅销”、“不畅销”：移动通信品牌可分成“全球通”、“神州行”、“动感地带”等：移动通信业务类型可分成“通话”、“短信”。,维的层次主要是为了进行向下钻取和向上聚合，最终让用户能够查看不同层次的数据。,维的分类是对维取值的划分，其目的通常是为了在不同的类别间进行比较。比如“畅销”、“不畅销”产品各占产品总量的比重，“全球通”、“神州行”、“小灵通”对移动公司的收益贡献分别是多少，“通话”、“短信”对移动公司的收益贡献分别是多少一个实际的系统中，维分类和维层次常常同时存在。,OLAP,一些基本概念,6,多维数组,一个多维数组可以表示为：,(,维,l,，维,2,，,，维,n,，变量,),。,可以将多维数组看作是维和变量的组合,例如：,若日用品销售数据是按时间、地区和销售渠道组织起来的三维立方体，加上变量销售额，就组成了一个多维数组,(,地区、时间，销售渠道，销售额,),，,如果再扩展一个产品维，就得到一个四维的结构，其多维数组为,(,产品，地区，时间，销售渠道，销售额,),。,OLAP,一些基本概念,7,数据单元,(,单元格,),多维数组的取值称为数据单元，也叫做事实。,当多维数组的各个维都选中一个维成员，这些维成员的组合就唯一确定了一个变量的值。那么数据单元就可以表示为,(,维,1,维成员，维,2,维成员，,维,n,维成员，变量的值,),。,例如，在产品、地区、时间和销售渠道上各取维成员“牙膏”、“上海”、“,1998,年,12,月”和“批发”，就唯一确定了变量“销售额”的一个值,(,假设为,100000),，则该数据单元可表示为,(,牙膏，上海，,1998,年,12,月，批发，,100000),。,OLAP,基本概念,4,月份我在北京卖掉了价值十万美元的可乐,一个数据单元格的例子,销售渠道,地区,北京,零售,批发,1 2 3 4,销售额（万元）,时间（月）,按销售渠道、时间和地区组织日用品销售数据,OLAP,一些基本概念,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,OLAP,准则,1993,年，,E.F.Codd,在,Providing OLAP to User Analysis,中提出,OLAP,的,12,条准则来描述,OLAP,系统：,准则,1 OLAP,模型必须提供多维概念视图,准则,2,透明性准则,准则,3,存取能力准则,准则,4,稳定的报表能力,准则,5,客户,/,服务器体系结构,准则,6,维的等同性准则,准则,7,动态的稀疏矩阵处理准则,准则,8,多用户支持能力准则,准则,9,非受限的跨维操作,准则,10,直观的数据操纵,准则,11,灵活的报表生成,准则,12,不受限的维与聚集层次,OLAP,准则,1.,多维概念视图,从用户分析员的角度来看，整个企业的视图本质上是多维的，因此,OLAP,的概念模型也是多维的。,企业分析决策的目的不同，决定了分析和衡量企业的数据总是从不同的角度来进行的，所有企业数据空间本身就是多维的,OLAP,必须能够提供多维概念的视图，从而使数据分析员能够从多种角度考察系统,(,企业,),的运营情况。,OLAP,必须实现数据切块、数据切片、数据旋转、数据钻取、数据聚合等基本的分析动作。,OLAP,准则,2.,透明性准则,OLAP,对于用户应当是透明的，其透明性包含两个意义上的透明。,一是,OLAP,在体系结构中的位置对于最终用户应当是透明的，即,OLAP,的功能是在客户端实现,(Client OLAP),，还是在服务器端实现,(Server OLAP,），对于最终用户来说并不需要区分,并且,OLAP,应当具有真正的开放系统结构,允许分析工具嵌入到分析人员指定的任何位置而不影响嵌入工具的效率。,二是,OLAP,的数据源对用户应当是透明的，用户只需使用熟悉的查询工具进行查询，而不需要关心,OLAP,提供的数据是从何处抽取来的。,OLAP,准则,数据源,数据层应用逻辑层,界面层,服务器,侧,OLAP,数据源,客户,侧,OLAP,用户,界面,最终用,户,OLAP,的数据接口,分析,工具,OLAP,透明性示意图,OLAP,用户,界面,1),位置是随意的,2),数据源是随意的,OLAP,准则,3.,存取能力准则,OLAP,必须提供高效的存取策略，使得系统只存取同指定分析任务相关的数据，而不存取多余的数据。,要实现这一功能，就首先,需要,OLAP,服务器具有访问异种数据库系统的能力，这不但包括各种流行的关系型数据库，还包括可能存在的非关系型数据库，如层次型数据库和以其它形式存储的数据，并实现数据的转化和一致化工作，从而对最终用户呈现一致的数据视图。,其次，,OLAP,服务器应当采用效率很高的策略来实现数据访问、数据转化、数据管理、多维查询等一系列功能。,OLAP,准则,4.,稳定的报表能力,OLAP,产品对于数据维度和数据维度层次的增加应当保持比较稳定的性能。,通常随着数据维度的增加和维层次的增加，,OLAP,需要维护的数据量将有较大的增加。稳定的性能就是在数据量增加的情况下，系统的响应速度不应当有较大程度的减慢，即使数据模型发生了变化，许多核心数据及核心数据的综合数据都不需要重新计算，或者可利用原先的计算结果减少运算的复杂性。,OLAP,的这个性能实际上是,OLAP,产品可维护性和可扩展性的重要指标,OLAP,准则,5.,客户服务器体系结构,OLAP,建立在客户服务器的结构下，服务器端负责数据抽取、数据存取、数据管理等复杂的功能，客户侧实现较为简单的应用逻辑和用户界面。这种客户,/,服务器的结构有利于功能的合理分担。服务器计算能力强，用于处理复杂的功能；客户端计算能力相对较差，用于实现简单的功能。,近年来，两层客户,/,服务器结构发展成了客户中间层服务器的三层结构。在中间层实现应用逻辑，而在客户端只实现界面功能，三层结构使得功能得到更进一步的划分。由于应用逻辑变化比较频繁，将应用逻辑单独分离出来，在应用逻辑发生变化的时候，只需修改中间层软件,OLAP,准则,客户界面,应用逻辑层,数据层,数据层,应用逻辑层、客户界面,服务器侧,客户侧,服务器侧,中间层,客户侧,两层客户,/,服务器结构和三层结构,OLAP,准则,6.,维的等同性准则,在,OLAP,产品中，各个维度应当是等同对待的，在一个维度上能够进行的操作在其它维度上也能执行。维度的等同性原则实际上是多维概念视图原则的补充。,7.,动态稀疏矩阵处理准则,OLAP,需要提供高效存取数据的能力，动态稀疏矩阵处理是实现高效存取的重要技术。,动态稀疏矩阵是指,OLAP,工具应当将基本物理数据单元配置给可能出现的维的子集，同时还需要提供动态可变的多种存取机制，比如,B-Tree,索引、散列、直接地址计算或者是多种技术的综合。使用这些技术的好处是存取速度将不会受数据维度的增减、数据量级的大小而发生大的波动,。,OLAP,准则,8.,多用户支持能力准则,多个用户能够同时在同一企业数据上建立不同的,OLAP,模型，或者同时对一个,OLAP,分析模型进行操作，为此,OLAP,工具应当提供并发访问功能，并且需要确保数据的一致性、完整性和安全性。,9.,非受限的跨维操作,如果用户定义了维度的层次关系，则,OLAP,产品必须自动地提供相关层次综合数据的计算方法，这些方法应当是,OLAP,产品自动推导的，而不需要最终用户参与。,OLAP,准则,10,直观的数据处理,直观的数据处理要求用户能够非常方便直观的对数据进行操作，从而使数据的内涵更容易为用户所感知。,11,灵活的报表生成,报表的格式可以按照任意维度各种层次的组合来生成，这实际上是多维概念视图的补充。,例如下页表的报表形式，该表为一个四维（包括统计指标自身）报表，分析人员可以根据需要对各维进行旋转，汇总以及合并操作（如将季度维合并，变成三位报表等）。,l2,不受限的维与聚集层次,OLAP,工具应当支持不少于,15,个维度的数据模型,让数据分析人员可以任意地进行各种维度各种层次的组合。,OLAP,准则,维,4,维,1,维,2,维,3,北京地区,上海地区,维,2,维,3,销售量,纯利润,/,元,成本,/,元,销售量,纯利润,/,元,成本,第,一,季,度,工作站,PC,机,软件,计算机配件,12,35,136,455,67000,19400,56900,23100,520,350,120,670,8,23,200,1270,41200,12700,75300,69700,440,200,100,1200,第,二,季,度,工作站,PC,机,软件,计算机配件,5,20,213,568,31600,12400,87000,43600,200,100,100,540,2,12,54,260,11600,7390,21900,24500,100,200,100,250,OLAP,准则之间的关系,透明性准则,存取能力准则,稳定的报表能力,客户服务器体系结构,多用户支持能力准则,动态稀疏矩阵处理准则,灵活的报表生成,多维概念视图,直观的数据处理,维的等同性准则,不受限的跨维操作,非受限的维与聚集层次,图,2,5,十二准则间的关系,OLAP,特性,快速性,:,用户对,OLAP,的快速反应能力有很高的要求。系统应能在,5,秒内对用户的大部分分析要求做出反应。客户,/,服务器体系结构两层或三层,C/S,结构。,可分析性,:OLAP,系统应能处理与应用有关的任何逻辑分析和统计分析。,共享性：,是指多个用户可以共享同一,OLAP,数据。,多维性,:,多维性是,OLAP,的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。,信息性,:,不论数据量有多大，也不管数据存储在何处，,OLAP,系统应能及时获得信息，并且管理大容量信息,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,OLAP,的基本分析操作,Codd,从可视化角度提出，主要基于统计的方法：,切片和切块,(,Slice and Dice,),在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在,“,城市、产品、时间,”,三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。,钻取,(Drill),钻取包含向下钻取,(Drill-down),和向上钻取,(Drill-up)/,上卷,(,Roll-up,),操作，钻取的深度与维所划分的层次相对应。,其中向上钻取，也叫做上卷，或者聚合,旋转,(Rotate)/,转轴,(Pivot),通过旋转可以得到不同视角的数据。,辅之于各种图形展示分析结果,OLAP,的基本分析操作,切片,定义：在多维数组的某一维上选定一维成员的动作称为切片，即在多维数组,(,维,l,，维,2,，,，维,n,，变量,),中选一维，如维,i,，并取其一维成员,(,设为“维成员,Vi”),，所得的多维数组的子集,(,维,1,，,，维成员,Vi,，,维,n,，变量,),称为在维,i,上的一个切片。,一个多维数组的切片最终是由该数组中除切片所在平面两个维之外的其他维的成员值确定的。,维是观察数据的角度，那么切片的作用或结果就是舍弃一些观察角度，使人们能在两个维上集中观察数据。,OLAP,的基本分析操作,切片,注：多维数组（地区、时间、产品、销售额）,若在时间维上选定维成员,“,1997,年,1,月,”,得到时间维上的切片（地区、,“,1997,年,1,月,”,、产品、销售额）,限制时间为,Q4,广州,产 品,上海,Q1,Q2,Q3,Q4,CD,机,收音机,录音机,功率放大器,音箱,北京,地 区,时 间,数据切片技术图示,OLAP,的基本分析操作,切片,OLAP,的基本分析操作,切块,定义：在多维数组的某一维上选定某一区间的维成员的动作称为切块，即限制多维数组的某一维的取值区间,例如选定多维数组,(,地区，时间，产品，销售渠道，销售额,),中的地区维、时间维与产品维在另外的销售渠道维，选取一个维成员,(,如“批发”,),就得到了多维数组,(,地区，时间，产品，销售渠道，销售额,),在地区、时间和产品三个维上的一个切块,(,地区，时间，产品，销售额,),。这个切块表示各地区、各产品在各个年度的批发销售情况。,OLAP,的基本分析操作,切块,784,728,682,591,43,746,818,南京,上海,825,605,14,680,400,952,31,512,1023,30,501,927,1038,38,580,812,Q1,Q2,Q3,Q4,家庭娱乐,计算机,电 话,安 全,在三个维上取某一区间或任意的维成员，其余的维都取定一个成员可得到一个切块,南京,上海,北京,天津,870,789,698,984,1002,925,784,728,682,623,872,89,882,854,38,1087,968,591,43,746,818,825,605,14,680,400,952,31,512,1023,30,501,927,1038,38,580,812,Q1,Q2,Q3,Q4,家庭娱乐,计算机,电 话,安 全,城市,季,度,商品类型,OLAP,的基本分析操作,旋转,旋转即改变一个报告或页面显示的维方向。例如：,旋转可能包含交换行和列,或是把某一个行维移到列维中去,OLAP,的基本分析操作,旋转,把一个横向为时间，纵向为产品的报表旋转成为横向为产品和纵向为时间的报表,OLAP,的基本分析操作,旋转,把一个纵向为时间和产品，横向为地区的报表变成一个纵向为产品和横向为地区和时间的报表。,OLAP,的基本分析操作,旋转,把一个横向为时间，纵向为产品的报表变成一个横向仍为时间和纵向旋转为地区的报表。,销售量,时 间,时 间,销售量,地 区,产 品,地 区,数据旋转技术图示,产 品,90,度,OLAP,的基本分析操作,旋转,OLAP,的基本分析操作,钻取,钻取是改变维的层次，变换分析的粒度。它包括上卷,(roll up),和下钻,(drill down),。,上卷是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数，上卷也被称为,数据聚合,。是对数据进行高层次综合的操作。,下钻则相反，它从汇总数据深入到细节数据进行观察或增加新维。一般情况下，钻取是指下钻，上钻用聚合名称表示,例如销售数据，可以按月聚集,(,上卷,),销售数据。反过来，给定时间为划分成月份的数据表示，可能希望将月销售总和分解,(,下钻,),成日销售总和，当然，这要求基本销售数据的时间粒度是按天的。,54,20,29,40,35,50,41,38,37,时间,产品,地区,一季度,二季度,三季度,四季度,南京,广州,手机,空调,下钻（,drill_down),：,按时间分到月、甚至天为单位,6,6,8,8,17,16,14,13,时间,南京,广州,手机,8,13,11,13,14,14,13,12,16,10,10,15,13,11,10,16,空调,1 2 3 4 5 6 7 8 9 10 11 12,下钻,55,上卷（,roll_up),：,按时间上卷到半年为单位,20,29,40,35,50,41,38,37,时间,产品,地区,一季度,二季度,三季度,四季度,南京,广州,手机,空调,时间,产品,南京,广州,手机,空调,49,75,91,75,上半年 下半年,上卷,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,多维数据模型的实现技术,Relational OLAP(ROLAP),利用关系数据库来存储和管理基本数据和聚合数据，并利用一些中间件来支持缺失数据的处理,具有良好的可扩展性,Multidimensional OLAP(MOLAP),利用多维数据库来存放和管理基本数据和聚合数据，其中需要对稀疏矩阵处理技术,对预综合的数据进行快速索引,Hybrid OLAP(HOLAP),利用关系数据库来存储和管理基本数据，利用多维数据库来存储和管理聚合数据。,ROLAP,定义,ROLAP,表示基于关系数据库的,OLAP,实现（,Relational OLAP,）。,以关系数据库为核心,以关系型结构进行多维数据的表示和存储。,ROLAP,主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟,OLAP(VirtualOLAP),。,ROLAP,将多维数据库的多维结构划分为两类表,:,一类是事实表,用来存储数据和维关键字。,另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。,维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模式”。,星座模型和雪暴模型：有多个事实表的星型模型和雪花模型,ROLAP,星型模型,ROLAP,星座模型,又称星座模型,ROLAP,雪花模型,ROLAP,服务器,ROLAP,服务器的结构,注：,在,ROLAP,中，多维数据立方体并没有真正存在，通常需要在接受客户,OLAP,请求后，,ROLAP,服务器需要将,SQL,语句转化为多维存取语句，并利用连接运算拼合出多维数据立方体，因此,ROLAP,的响应时间较长。,ROLAP,ROLAP,的特点,数据结构和组织模式需要预先设计和建立；,数据查询需要进行表连接，在查询性能测试中往往是影响速度的关键；,数据汇总查询（例如查询某个品牌的所有产品销售额），需要进行,Group by,操作，虽然实际得出的数据量很少，但查询时间变得更长；,为了改善数据汇总查询的性能，可以建立,汇总表,，但汇总表的数量与用户分析的角度数目和每个角度的层次数目密切相关。例如，用户从,8,个角度进行分析，每个角度有,3,个汇总层次，则汇总表的数目高达,3,的,8,次方。,定义,MOLAP,表示基于多维数据组织的,OLAP,实现（,Multidimensional OLAP,）。,以多维数据组织方式为核心,也就是说,MOLAP,使用多维数组存储数据。,多维数据在存储中将形成“立方块（,Cube,）”的结构,在,MOLAP,中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。,由于,MOLAP,采用了新的存储结构，从物理层实现起，因此又称为物理,OLAP(PhysicalOLAP),MOLAP,多维数据的组织存放（细节数据）,例 维,1,：产品；维成员：冰箱、彩电、空调；,维,2,：地区；维成员：东北、西北、华北；,变量：销售量,RDB,中的数据组织,MDB,中的数据组织,MDB,方法的优点（细节数据）,清晰简明，占用存储少,性能好，尤其像,“,冰箱销售总量是多少？,”,的查询,RDB,方法：找出有关,“,冰箱,”,的记录，再对销售量求和,MDB,方法：找到有关,“,冰箱,”,的行，按行求和,多维数据的组织存放（综合数据）,RDB,中的数据组织,多维数据的组织存放（综合数据）,MDB,中的数据组织,表中交点处的数字称为数据单元,MDB,中的维对应,RDB,中的数据域（列）,MDB,中的数据单元（包括相关的维成员）对应,RDB,中的记录（行）,本表中有,16,个数据单元，上一表中有,16,条记录,MDB,方法的优点（综合数据）,多维概念表达清晰，占用存储少,对数据进行综合的速度快（只需按行,/,列累加）,在,RDB,中，,“,总和,”,作为某个域上的取值（属性值）与列定义语义不符,细节数据,清晰简明，占用存储少,性能好，尤其像“冰箱销售总量是多少？”的查询,RDB,方法：找出有关“冰箱”的记录，再对销售量求和,MDB,方法：找到有关“冰箱”的行，按行求和,综合数据,多维概念表达清晰，占用存储少,对数据进行综合的速度快（只需按行,/,列累加）,在,RDB,中，“总和”作为某个域上的取值（属性值）与列定义语义不符,MOLAP,和,ROLAP,的比较,结构分析,MOLAP,结构如图所示。,多维视图,多维,DB,DW,基础数据,计算结果,存取,多维数据库引擎,MOLAP,结构简图,MOLAP,和,ROLAP,的比较,SQL,多维,DB,DW,基础数据,元数据,计算结果,存取,RDBMS,服务器,多维综合引擎,关系型,OLAP,服务器,多维视图,ROLAP,结构简图,ROLAP,结构如图所示,MOLAP,和,ROLAP,的比较,2,数据存储速度,ROLAP,的多维数据以星型结构模型等关系关系数据库（平面形式）存储，并不直接体现“超立方体”形式。在接受客户的,OLAP,请求时，,ROLAP,服务器需要将,SQL,语句转化为多维存储语句，并利用,连接,运算临时“拼合”多维数据立方体，因此，,ROLAP,的响应时间比较,长。,3,数据存储容量,ROLAP,使用传统关系数据库的存储方法，对于存储容量基本上没有现在限制。但是，需要指出的是，在,ROLAP,中为了提高分析响应速度，经常构造大量的中间表（,如综合表），这些中间表带来了大量的冗余数据。,4,多维计算能力,MOLAP,支持高性能的决策支持型计算，包括复杂的跨维计算、行级计算；而在,ROLAP,中，,SQL,无法完成部分计算，并且,ROLAP,无法完成多行的计算和维之间的计算。,MOLAP,和,ROLAP,的比较,5,维度变化的适应性,MOLAP,需要在建立多维数据库块时确定各个维度以及维度之间的层次关系。在多维数据库建立之后，如果要,增加新的维度，通常需要重新建立多维数据库。新增维度后的数据量会急剧增加,。而,ROLAP,增加一个维度时只是增加一张维表并修改事实表，系统中的其他维表无须修改，因此,ROLAP,对于维表的变更有着更好的适应性。,6,数据变化的适应性,由于,MOLAP,通过预综合处理来提高系统运行速度，当数据频繁的发生变化时，,MOLAP,需要重新进行大量的计算,，甚至重新建立索引乃至重构多维数据库。在,ROLAP,中，预综合处理通常由设计者根据需要制定，因此灵活性较好，对于数据变化的适应性高。,MOLAP,和,ROLAP,的比较,7,软硬件平台的适应性,由于关系数据库已经在众多的软硬件平台上成功地运行，因此,ROLAP,对软硬件平台的适应性很好，而,MOLAP,则相对较差,。,8,元数据管理,目前在元数据的管理上，,MOLAP,和,ROLAP,尚无成形的标准，,MOLAP,产品将元数据作为其内部数据,，而,ROLAP,产品将元数据作为应用开发的一部分，由设计者来定义和处理。,9,系统培训和维护工作,ROLAP,建立在关系数据库的基础上，所以熟悉关系数据库的,ROLAP,使用人员能够很快的掌握,ROLAP,的操作。,MOLAP,是比较新的技术，原先熟悉关系数据库的用户通常不熟悉,MDDB,。因此，对于,MOLAP,系统，相关的客户培训与维护工作较多。,MOLAP,和,ROLAP,的比较,项 目,数据存储,技 术,特 征,MOLAP,详细数据通过关系表存储在数据仓库中；各种汇总数据保存在多维数据库中；从数据仓库中询问详细数据，从多维数据库中询问汇总数据,由,MOLAP,引擎创建；预先建立多维数据立方体；多维视图存储在阵列而非表格中；可以高速检索矩阵数据；利用稀疏矩阵技术来管理汇总的稀疏数据,询问的响应速度快；能轻松的适应多维分析；有广泛的钻取和多层次,/,多视角查询的能力,ROLAP,全部数据以关系表形式存储在数据仓库中，可获得细节的和综合汇总的数据；有非常打的数据容量；从数据仓库中询问所有数据,使用复杂,SQL,从数据仓库中获得数据；,ROLAP,引擎在数据分析中创建多维数据立方体；表示层能够表示多维视图,在复杂的数据分析功能上具有局限性，需要采用优化的,OLAP,；向下钻取数据较容易，但是跨维向下钻取数据较困难,MOLAP,和,ROLAP,的综合比较,ROLAP,MOLAP,沿用现有的关系数据库的技术,专为,OLAP,所设计,响应速度比,MOLAP,慢；,现有关系型数据库已经对,OLAP,做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、,SQL,的,OLAP,扩展,(cube,、,rollup),等，性能有所提高,性能好、响应速度快,数据装载速度快,数据装载速度慢,存储空间耗费小，维数没有限制,需要进行预计算，可能导致数据爆炸，维数有限；无法支持维的动态变化,借用,RDBMS,存储数据，没有文件大小限制,受操作系统平台中文件大小的限制，难以达到,TB,级,(,只能,1020g),可以通过,SQL,实现详细数据与概要数据的存储,缺乏数据模型和数据访问的标准,不支持有关预计算的读写操作,SQL,无法完成部分计算,无法完成多行的计算,无法完成维之间的计算,支持高性能的决策支持计算,复杂的跨维计算,多用户的读写操作,行级的计算,维护困难,管理简便,HOLAP,HOLAP,服务器结合,ROLAP,和,MOLAP,技术,HOLAP,结构不应该是,MOLAP,与,ROLAP,结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。,对于常用的维度和维层次，在,HOLAP,中使用多维数据表来记录。,对于不常用的维度和数据，采用类似于,ROLAP,星型结构来存储。,HOLAP,得宜于,ROLAP,的可伸缩性,和,MOLAP,的快速计算。,允许将大量详细数据存放在关系数据库中，而聚集保持在分离的,MOLAP,存储中。,在,HOLAP,的多维数据表中的数据维度少于,MOLAP,中的维度表，数据存储容量也少于,MOLAP,方式。,HOLAP,在数据存取速度上又低于,MOLAP,。,HOLAP,在主要性能上都介于,MOLAP,和,ROLAP,之间，其技术复杂度高于,MOLAP,和,ROLAP,。,1,.OLAP,简介,2,.,OLAP,基本概念,3,.,OLAP,准则和特性,4.,OLAP,的基本分析操作,5,.OLAP,数据模型的实现技术,6,.OLAP,体系结构和工具简介,大纲,ROLAP,体系结构,SQL,Result,Set,Info.,Request,Result,Set,Database Server,R,DBMS,Front-end Tool,ROALP Architecture,ROLAP Server,Metadata,Request,Processing,这种体系结构，源于中间件技术和传统的,RDB,技术，具有较强的可伸缩性。以,ROLAP Server,为中间件，增加,ROLLUP,、,CUBE,等操作，扩充了,SQL,为,Multiple SQL,（,MSQL,）支持复杂的多维分析。通常，采用非规范化的星型或雪花模式组织数据来支持处理用户需求。用户的查询需求通过,OLAP,引擎动态翻译为,SQL,请求，然后由关系数据库来处理,SQL,请求，最后查询结果经多维处理将结果返回给用户。,MOLAP,体系结构,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,MOALP Architecture,MOLAP Server,Metadata,Request,Processing,MOLAP Server,采用多维数组技术存储数据，并对稀疏数据采用压缩技术处理，提供切片、切块和旋转等分析操作。为提高响应速度，对用户的查询需求进行预处理，在数据建立之初，将数据从,Database Server,中聚集到,MOLAP Server,中。当分析需求变化时，数据结构需要物理地重新组织，以便适应用户需求变化。这给,DB,管理者建立和维护,DB,带来困难，费用及复杂性也相应提高。,HOLAP,系统结构,Result Set,OR,SQL Query,SQL,Result,Set,Info.,Request,Result,Set,Load,Database Server,RDBMS,Front-end Tool,Hybrid Architecture,MOLAP Server,HOLAP,体系结构集成了,ROLAP,的可伸缩性和,MOLAP,的快速计算的特点。将大量详细数据存放在,RDB,中，聚集数据存放在,MOLAP,中。未预计算的操作，首先从,DBMS,中查询，然后传输到,MOLAP,数据立方体中并存储其中，由,OLAP,引擎将结果返回给用户。以后用户便可以在立方体上直接进行多维分析操作。,OLAP,的体系结构与展现方式,OLAP,的结构,-,逻辑结构,数据仓库,数据存储技术,客户,OLAP,视图,OLAP,结构：两个逻辑部分,数据存储,数据存储服务,客户,用户描述,OLAP,服务,OLAP,结构：三个功能构件,OLAP,的结构,-,物理结构,数据,多维数据存储,关系数据存储,数据仓库,