普元基础数据平台方案介绍---(ETL-BI-数据治理).pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,普元基础,数据,平台方案,2013,年,8,月,7,日,议程,普元公司介绍,相关案例介绍,基础数据平台方案,答疑,普元公司概览,基本概况,成立时间,:2001,年,4,月，,2010,年,6,月改制为股份公司,总部位于上海浦东张江，北京、广州、西安、武汉设有分支机构,注册资本：,6000,万元,2009,年，获得新开发基金等,1,亿投资,人员规模：,500+,，技术人员占比,80%,，核心管理和技术团队稳定,资质荣誉,国家规划布局内重点软件企业、上海市高新技术企业,国家级重点,A,类新产品，获得,3项授权专利、13项,受理,专利；42项软件著作权,已成功通过,CMMI5,级认证,国家博士后科研工作站、上海市研究生联合培养单位,国家云计算创新发展示范单位、国家高技术产业化示范工程单位,18,项技术,“发明专利”,研发持续投入,10,年历程，普元帮助,300,多家大中型客户成功,金融,电信,能源公用,大中企业,政府国防,中国工商银行,中国建设银行,中国银行,中国农业银行,中信银行,交通银行,国家开发银行,中国人民银行,中国 人民保险,中国平安,太平洋保险,上海银行,中国邮储,中国移动,中国电信,中国联通,华为科技,亚信联创,亿阳信通,中国电信系统集成,60,家海外运营商,国家电网,港华燃气,中国石油,中国石化,中国水建,中国华能,中核集团,中煤集团,胜利油田,神华煤炭,鲁能集团,工业与信息化部,外交部,水利部,海关总署,国家海洋局,中国烟草,空中交通管理局,首都之窗,中国电子科技集团,28,所,某部队后勤指挥,中国航天科工,首钢集团,宝钢集团,招商局,中国国航,中国造币,京港地铁,九阳股份,中国科学院,三菱电梯,德邦物流,普元数据能力简介,5,产品研发,应用开发,项目实施,金融,电力,企业,政府,数据平台相关能力,100+,人，多数来自东南融通,BI,团队,始于,2008,年,2011,年，收购东南融通,BI,团队,普元数据平台产品,6,数据建模,数据整合,(ETL),任务调度,监控,管理,数据,交换,企业数据治理,数据标准,管理,数据质量,管理,元数据,管理,数据分析展现工具,数据挖掘工具,综合 应用开发和集成平台,数据类应用,管理类应用,营销类应用,经营决策类应用,数据库,ODS,数据仓库,多维数据库,数据模型,统计分析类应用,绩效类应用,普元具有相关产品,数据平台实施能力,数据源分析能力,主流数据库：,Oracle/DB2/Teradata/Sybase/MSSQL/Informix/,其他,主流厂商产品：,Oracle ERP/SAP/PeopleSoft/,用友,/,金蝶,金融核心、信贷、,ECIF,、信用卡、电子银行,数据架构和数据建模,ODS/EDW/,数据集市,仓库模型、,OLAP,多维模型,Oracle/DB2/MSSQL/Teradata/GreenPlum/Hyperion/SAS/Cognos/MSSSAS,ERWin/PowerDesigner/Visio/ROSE/Office,ETL,开发,大型、复杂的,ETL,架构,大规模作业并发、排程、负载均衡、高可用性,SQL/Perl/Shell/Java,Datastage/PowerCenter/MSSSIS/KETTLE/DI/Control-M/Automation/ETLPlus,数据分析和报表开发,报表、查询、,OLAP,分析,Cognos/MSTR/BO/BI.Office/etc.,数据管控,数据标准,元数据管理,数据质量,7,数据类应用开发能力,数据类,应用,日常管理,营销支持,经营决策,统计分析,绩效考核,8,部分案例,议程,普元公司介绍,相关案例介绍,BDP,建设方案,答疑,案例概,览,建总行贷记卡管理信息系统（,05.11-06.6,）,发卡量：约,2000+,万,客户数：约,1000+,万,数据总量：约,3TB,每月数据增量：约,100GB,项目范围：,信用卡业务咨询,信用卡数据仓库、应用分析数据集市的建设,MIS,报表（,100,张）、查询（,80,个）、多维分析,Cube,（,40,个）,定量模型（客户消费预测，客户逾期预测）,项目平均每月投入人数：,25,人,项目周期：,8,个月,光大银行信用卡决策支持系统一,期（,07.4-07.12,）,发卡量：约,400,万,客户数：约,230,万,数据总量：约,1.5TB,每月数据增量：,30GB,项目范围：,信用卡数据集市,MIS,报表（,100,张）、查询（,150,个）、,KPI,（,80,个）,多维分析,Cube,（,40,个）,项目平均每月投入人数：,15,人,项目周期：,8,个月,广,发,银行信用卡数据分析平台（,09.3-2010.12,）,发卡量：,约,1500,万,客户数：,约,1000,万,数据总量：,约,2TB,项目范围：,业务范围：风险、财务、产品,、账户、,市场、运营,MIS,报表（,150,张）,查询（,100,个）,KPI,（,50,个）,多维分析,Cube,（,30,个）,项目平均每月投入人数：,12,人,光大银行信用卡决策支持系统二期,（,08.4-08.11,）,项目范围：,数据集市扩展（补充,V+,剩余数据、申请管理系统数据、,CallCenter,、积分数据、清算数据）,MIS,报表（,30,张）、查询（,20,个）、,KPI,（,20,个）,多维分析,Cube,（,10,个）,定量模型：拖欠行为评分、盈利预测模型,业务策略,:(,永久批量,/,取现,/,临时）信用额度调整,活动管理平台,项目平均每月投入人数：,20,人,项目周期：,7,个月,信用卡领域数据架构,系统运维管理平台,数据服务,数据源,SEMACARD,信审系统,应用安全管理,系统监控管理,催收系统,补录数据,客服系统,短信平台,CallCenter,临时,存储区,应用服务,信用卡,数据集市,OLAP,BI Presentention,Report Service,KPI Service,Query Service,前端应用,KPI,应用,MIS,报表,OLAP,分析,灵活查询,数据挖掘,告警分析,数据补录,系统管理,ODS,基础数据存储,数据补录区,补充缺漏信息,数据补录平台,ETL,Datastage,ETL,SAS,服务,统一财会系统,Application Server,信用卡领域数据,架构,2,议程,普元公司介绍,相关案例介绍,基础数据平台方案,答疑,统一性约束,统一的数据架构考虑：,统一的数据获取、数据转换、数据分发的数据交换架构,基础数据平台的定位：统一的指标计算和数据加工，服务于下游系统,统一的技术架构考虑：,统一的,ETL,调度流程,统一的监控管理,统一的前端应用架构,统一的数据管理机制，包括数据备份、归档和管理,统一的数据交换标准,统一的业务统计口径和业务管理,统一集成的数据标准、元数据、数据质量管理体系,统一的开发管理、测试管理、版本管理策略,数据整合,(Primeton.ETL),数据管控,(Primeton.EDG),总体架构,21,个上游系统,17,个下游应用系统,基础数据平台,Oracle 11g,数据采集,数据补录,历史数据,QDS,元数据管理,数据质量管理,任务调度,运行监控和管理,7,张表,准实时数据,T+N,应用集市,数据安全,txt,xls,xml,当日缓冲,ODS,全量细节,DDS,数据标准,Datastage,Informatica,Datastage,Informatica,Primeton.DI,数据分发,数据交换,基础数据模型：概览,结合信用卡业务的流程，从征信、授信、交易、授权、催收进行数据搜集，按卡片级、账户级、客户级进行轻度汇总，为整个业务应用提供强大的支持,ODS,催收数据,卡片数据,账户数据,核销数据,交易数据,申请审批数据,授权数据,欺诈数据,流失客户数据,客户数据,基础数据模型：卡级汇总,汇总与卡相关的所有指标，处理与卡相关的各种状态,卡片级,卡片成本汇总,与授权的关系,与账户的关系,是否活动卡,卡片收入汇总,卡片交易汇总,是否循环信用,与交易的关系,卡片基本信息,与客户的关系,基础数据模型：账户级汇总,汇总与账户相关的所有指标，处理与账户相关的各种状态,账户级,催收信息汇总,是否活动账户,账单信息汇总,核销信息汇总,是否循环信用,账户基本信息,与客户的关系,逾期信息汇总,超额信息汇总,交易信息汇总,基础数据模型：客户级汇总,汇总与客户相关的所有指标，处理与客户相关的各种状态,客户级,余额信息汇总,是否活动账户,成本信息汇总,交易信息汇总,是否循环信用,客户基本信息,收入信息汇总,逾期情况汇总,还款信息汇总,催收信息汇总,数据采集,接口层,当日缓冲,ODS,直抽,数据文件,准实时,全量,增,量,T+N,数据补录,联机的数据项补录功能,总,行,统一制定补录样式，分行及各部门通过,web,界面进行补录操作,数据补录带有数据流程管理功能，可实现发起、审核、退回等流程功能,补录带有数据勾稽关系、数据校验功能，保证数据补录的数据质量,补录带有自动汇总调整功能，任何一补录项改变，相关有计算关系的补录项也会同时改变。,数据补录模板可以灵活调整,基于明细数据的补录功能,基于,Excel,模板下发的数据补录,基于格式化文件导入的补录功能,信用卡应用集市,明细层,ETL,架构,数据源,发卡系统,征信系统,第三方征信,前置系统,前置监控系统,收单系统,综合业务平台,总行数据仓库,数据缓冲区,数据源同构,时间拉链,接口管理,数据源管理,数据转换区,数据标准化,格式转换,排序,/,筛选,业务转换,连接,/,合并,/,分割,加工汇总,数据源管理,信用卡基础数据层,ETL,统一调度管理平台,稽核,平衡,控制,报告,归档,备份,清理,恢复,ETL1,ETL2,ETL3,ETL4,ETL5,数据管理,数据恢复管理,代码管理,ETL,管理,模型管理,业务规范,元数据管理,授权监控系统,催收系统,客服系统,CCS,系统,手工参数表,其他,客户主题,账户主题,事件主题,产品主题,组织主题,相关方主题,渠道主题,其它,信用卡数据分析仓库,MIS,报表,影像内容管理,平台,互动短信平台,销售服务管理系统,多渠道进件管理系统,积分系统,零售贵宾权益管理系,风险信息管理系统,软,pos,综合业务平台,电话销售管理系统,其他,任务调度与监控,Primeton.ETL,任务调度与监控,：逻辑架构,ETL JOB,元数据管,理平台,数据质量,管理平台,作业自动化,其他,JOB,JOB,JOB,SHELL,Perl,Data Ex,JOB,运行,监控,运行,干预,系统,管理,代理,负载,均衡,代理,代理,数据标准,管理平台,数据,监控,资源,监控,文件,监控,作业分发,计划,调度,手工,触发,消息,推送,事件,调度,性能,分析,任务调度与监控,：物理架构,分析型应用,业务系统,管理服务器,主调度服务器,备用调度服务器,知识库,终端,代理,代理,代理,代理,代理,代理,代理,数据平台,任务调度与监控：作业,/,作业流管理,支持 作业类型有,：,DataStage,作业,PowerCenter,作业,Oracle,存储过程,DB2,存储过程,SQL Server,存储过程,Perl,脚本,Sh,脚本,Windows,Exe,Java,程序,公共组件,虚拟作业,循环控制,设置作业参数,选多个代理，会在这几个代理间进行负载均衡,任务调度与监控：,作业,/,作业流运行策略,运行策略,设置依赖关系,前置条件,后,置处理,代理,代理,代理,主调度服务器,备,调度服务器,ETL,作业服务器,(DS,/DB,),代理,代理,代理,主调度服务器,备,调度服务器,ETL,作业服务器,(DS,/DB,),知识库,管理服务器,时间,事件,作业依赖,手工,支持所有作业集中调度，也支持将作业分组调度，以分散负载,调度服务器主备,FailOver,作业分发支持优先级,支持,VIP,通道,支持负载均衡,jobs,jobs,jobs,jobs,jobs,jobs,VIP,专属通道,任务调度与监控：,作业调度,任务调度与监控：,作业调度,计划任务是按时间频度调起作业的一种机制，它有日历,+,频度,+,作业,/,作业流,+,消息设置组成；可以设置激活时间窗和运行时间窗。,频度，前面所配置的频度,日历，前面所配置的日历,发送消息设置，前面所配置的消息设置,优先级设置,31,点击，快速定位问题原因,任务调度与监控：,监控与干预,手工输入参数,优先级设置,检查作业依赖关系,检查触发关系,是否翻牌,手工运行作业，记录操作人姓名,任务调度与监控：,监控与干预,(,手工运行,),任务调度与监控：资源管理,代理,代理,代理,主调度服务器,备,调度服务器,代理,知识库,管理服务器,jobs,jobs,jobs,资源管理器,资源采集,资源存储,资源,监控,作业分发,资源申请,根据作业对,CPU,、内存的要求，通过算法，找到资源状态最佳的一台机器，并分配作业到上面运行,数据分发,数据,分发平台可以专门进行分发类工作处理，只要进行简单配置，就可以让此类工作马上开始。,信用卡应用集市,数据交换,数据交换,(Primeton.DI),数据安全,系统运维管理,系统监控管理,主要提供网络监控、主机监控、数据库监控、应用监控、生产调度监控、安全监控等。,系统维护管理,是指系统在运行过程中，为了系统的正常服务而进行的配置、参数管理，以及启,/,停机、清理过期数据等日常操作，以及数据、系统发生变更的维护等。,备份恢复管理,处理系统中所有必须的备份和恢复操作。这个组件根据备份策略，通过对数据的冗余存储来保证系统可以从各种服务中断中恢复。,数据归档清理,定时对指定数据区域按照数据存储规划，进行数据脱机归档，备份至磁带库、光盘库中。在归档成功后，对指定数据进行清理。,审计管理,对所有系统的核心操作进行审计跟踪，能够从系统日志中再现历史操作流程。,性能容量规划,从环境中的不同元素收集利用数据，并规划硬件和软件能力需求。,运维安全管理,通过制定和管理运维安全策略，并利用安全工具，维护信息系统资产（包括硬件、软件、用户数据、信息,/,数据）的机密性、一致性和可用性。,数据展现,Primeton.BI,产品应用架构,。,风险,分析,统一报表平台,统一查询系统,ACRM,领导信息系统,绩效考核,分析,嵌入式,BI,物流分析,查询,分析,报表,预警,仪表盘,查询,预警,报表,分析,仪表盘,管理层,决策层,普通员工,统计人员,统一登陆管理,EDW,BI,工具,BI,应用,系统,应用系统,ERP,SCM,CRM,。,HR,ALM,PLM,。,财务,分析,为所有职位交付信息，提升企业整体洞察力,易于使用，自助式服务,灵活的、个性化的交付,可嵌入到业务系统,稳健的而统一的分析平台支持,5000+,用户,可靠的安全管理,高可扩展性、灵活性,应用资源的统一管理和共享,数据抽取、加载、转换和清洗,Unified Server,40,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,模块,介绍,通用组件 介绍,Mobile,介绍,Dashboard,展现直观生动,表现形式丰富：内置表格、油量表、泡泡图、雷达图、地图、柱图、饼图、曲线图等多种丰富的数据展示形式,动态画图效果，生动形象,42,Dashboard,交互式的展示,43,Dashboard,集成地理信息,地图分析：通过变动区域地图的颜色、或在区域地图上加,KPI,彩旗、灯泡等，让决策层可以清楚了解企业的战略执行，详尽掌握企业信息。,支持多层钻取，可以通过接口与,Google Map,或,GIS,地理信息系统集成,44,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,模块介绍,通用组件 介绍,Mobile,介绍,Query,灵活查询平台,最具优势的查询平台,熟悉的业务术语屏蔽底层数据，业务人员可,自助式的进行灵活查询,直观、图形化、基于,Web,的最佳用户体验,更可自由的进行交互式的信息探索,可无缝的嵌入操作型系统中,提升企业自助式获取信息的能力,直观、基于,Web,的定制、访问交互，用户在提示和向导下完成查询分析,适应企业内部的各种临时性的报表需求,改善业务人员和,IT,人员的协作关系,最终用户进行自助式的查询,IT,人员仅需对用户权限进行维护,46,Query,语义层定义（表关系设置）,可视化的设置界面，拖拽式操作,支持按别名、列名、外键自动创建表关系,支持多种连接方式（内连接、左连接等）,设置连接方式,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,模块介绍,通用组件 介绍,Mobile,介绍,Report,复杂报表,企业报表平台的最佳选择,“,0”,编程,仅,需简单的鼠标拖拉，即可快速实现不规则报表、不平衡报表、原始凭证报表等,各种复杂报表,，完全可视化的设计,实现,数据补录、数据校验、审核、归档,减少了定制报表、报表维护、报表二次开发的工作量,高度的灵活性、可扩展性与实时性,复杂报表和数据补录的支持能力,最大限度的改善业务人员的工作模式,支持所有复杂格式的报表,强大的,补录平台,提升企业信息化能力,解决企业在报表方面的难题,难以应付快速变化的需求,信息化建设不足而导致信息采集不全面,49,Report,报表制作,2,步完成报表制作,表样制作：内置表样设置器、导入,Excel,文件,设置数据来源：从查询中拖拽所需的字段到表样上,其它功能,参数管理,校验规则,填报设置,Report,-,支持多种格式,清单表、,分组报表,、交叉,报表、组合报表、套打报表,等,Report,报表交互,浏览汇总数据,支持钻取分析,具有独特的智能预警,下钻到明细表,红色高亮预警,52,Report,数据补录,零编程、纯,HTML,补录,补录类型,数字,单行文本,多行文本,绑定参数,文件（如图片等）,除了插入数据外，还可删除某行数据,清单补录,Report,数据校验,设置校验公式,数据填报后进行数据校验,54,示例：交叉表,55,示例：分片报表,56,示例：分组报表,57,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,模块介绍,通用组件 介绍,Mobile,介绍,Analysis,多视角的洞察分析,灵活的多维分析平台,钻取、切片、旋转、排名、排序、过滤等丰富的用户交互界面，丰富的图形展现,不只是,OLAP,分析，更可自由对,TB,级数据实现全面探索直至交易细节,动态的,OLAP,报表定制，轻松的数据探索,多角度的洞察力,从怎么样到为什么，仅仅需要击以下鼠标式,业务分析员自己根据问题的需要完成自己的分析和报告,业务部门可以从固定的报表、,KPI,中发现问题时，需要了解为何发生了问题，这时通过,OLAP,分析定位问题,解决企业在报表方面的难题,解决问题难以定位,以前业务人员无法自助的定制报表,59,Analysis,功能特色：灵活,拖拽式操作，直接展示分析结果，灵活方便,灵活的成员选择，支持成员搜索,随意切换分析角度，灵活展现（行、列、分页）,灵活钻取,上钻,下钻,层钻,展开、收起,钻到其它维度,行列互换,支持自定义成员、自定义命名集,60,Analysis,功能特色：多种分析方法,时间智能分析,基比、环比,同期值、同期比、同期增长率,前期值、前期比、前期增长率,多种分析方法,占比,排名,TopN,分析,80/20,分析,内置最大值、最小值、平均值、合计值等计算函数,61,Analysis,功能特色,告警展现,颜色告警,图标报警,多种分析图形,联动分析,跨主题跳转分析,汇总报表,-,清单报表,配置方式，无需开发,表格样式设置,62,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,通用组件 介绍,模块介绍,Mobile,介绍,移动平台,-,轻松移动办公，商机尽在掌中,64,产品特色,支持多种移动设备：,iPad/iPhone/iPod Touch/Android,与桌面,Web,报表的无缝扩展。统一开发部署，无插件，无需额外定制,基于地理信息的业务监控,支持杜邦分析等多种分析,动态图片播放及热点分析,支持离线浏览,信息同步与共享。,添加注释、邮件发送,数据源,Essbase,SQLServer,Oracle,DB2,.,应用服务器,XMLA,JDBC,移动应用展现组件,Mobile Service,Mobile Publish,整体技术架构,PC,Safari,浏览器,移动平台本地应用,iOS,Android,65,查询,地图分析,图表分析,报表,多维分析,仪表盘,用户权限,计划任务,移动平台首页,66,移动平台效果截图,67,移动平台示例,-,打开报表、切换条件,68,移动平台示例,-,地图钻取、联动分析,点击地区：地图下钻,右边图形联动变化,69,点击,【,返回,】,，回到全国地图，右边图形同步变化,在指标上,拖拽,调整指标值，指标卡片上的图标以,红、黄、绿,显示指标状态，同时该指标的关联指标值及状态也会同步变化,为报表分析者全面仔细地了解企业的经营和盈利状况提供方便,70,移动平台示例,-,杜邦分析,将原始数据以底图加热点的方式直观展现，通过配置完成地图热点区域及各种展现告警效果（如红绿灯闪烁、跑马灯提醒）。支持播放与暂停模式，可以对地图上各个热点区域进行轮动播放，通过点击热点区域进行关联分析,71,移动平台示例,-,动态图片播放及热点分析,移动平台示例,-,城市交通监控,72,可以在页面的任意位置绘制图形、添加注释，并可以通过邮件将注释内的容共享给他人,73,移动平台示例,-,增加注释,点击进入注释编辑状态,增加注释后，发送邮件,移动平台示例（,iPhone,）,打开报表,74,主要内容,Dashboard,介绍,Query,介绍,Report,介绍,Analysis,介绍,通用组件 介绍,模块介绍,Mobile,介绍,计划任务,实现报表的定时运行,实现报表的文件导出，邮件发送,对任务进行调度和监控,76,会话管理,会话监控,会话信息列表,断开会话,查看当前会话操作日志,设置会话临控,会话,分析,最大会话数分析,按,IP,分析会话操作日志,删除会话历史记录,77,完善的权限管理体系,为了适应企业人员的变动和岗位的调整，系统将权限与用户、角色挂钩实现了多种控制方式，灵活适应各类企业的实际情况。,用户级权限,角色级权限,用户组级权限,78,灵活的权限配置,操作权限,采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。,操作权限配置,79,资源权限配置,灵活的权限配置,资源权限,采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。,80,灵活的权限配置,数据行权限,采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础。,数据行权限设置,81,灵活的权限配置,数据权限,采用了三层权限架构：操作权限、资源权限、数据权限，为满足日常工作中用户各种复杂管理方法和管理手段提供了基础,。,数据权限,设置,82,强大的二次开发与集成能力,API,体系架构图,基础,SDK,，也就是上图的说明,In-Process Service API,（,java,形式调用，客户端程序和服务器在同一个,JVM,）,Out-Process SDK,，包括,JavaScript,，,Java,，,.Net,，,WebService,83,数据管,控,Primeton.EDG,普元数据,治理,平台,85,85,应用,功能,元数据管理,接口,二次开发,权限集成,数据访问,分析服务,元数据应用,数据质量管理,数据标准管理,数据,管控,流程,管理,辅助业务应用,元数据基础管理,元数据分析服务,元数据采集,检核指标管理,检核执行调度,数据探查,数据质量应用,数据标准应用,系统管理,角色管理,在线用户,密码管理,权限管理,用户管理,日志管理,参数管理,配置管理,辅助开发运维,数据质量监控,数据质量改进,标准执行监控,辅助标准执行,元模型管理,质量问题管理,知识库管理,标准体系浏览,标准综合查询,数据标准管理,数据标准采集,普元数据治理应用框架,86,普元数据治理平台组成和相互关系,87,数据管控平台,数据标准,流程,系统,元数据,1.,提供检核对象,1.,提供数据标准信息访问,数据标准存储到元数据,1.,标准相关的,指标检核结果,数据质量,数据质量流程,报表需求流程,元数据流程,数据标准流程,采集基准库、对象库,反馈检核结果,1.,质量检核结果作为质量问题,2.,质量提升工作结果,1.,提出度量规则和检核方法,2.,数据质量问题存储,3.,数据质量需求,1.,提供数据标准定义,2.,数据标准变更,数据标准执行情况,报表需求存储,1.,报表需求访问,2.,报表使用情况,2.,提供标准代码,2.,系统代码与标准代码匹配情况,3.,数据标准执行情况,2.,度量规则、检核指标存储到元数据,数据治理的核心要素,元数据管理,88,元数据管理是整个数据管控实施的核心要素之一，是数据管控的核心基础设施,元数据是企业信息的地图,89,通过元数据管理平台建立能够形成企业的“,地图,”,了解每一个数据在哪个系统，哪个表，从哪来，到哪去。,了解数据项的业务含义，明晰数据之间的关系。,应对,问题,3,、系统变更是否可行及变更对下游影响缺失客观有效评估机制,4,、报表数据质量问题追溯成本较高,7,、业务人员和技术人员对业务元数据理解存在歧义,8,、缺失元数据变更管理等配套流程,2,、系统及系统间关系模糊，增加了人员流动带来的学习成本,企业元数据问题总结及应对,3,、基于影响分析为系统变更的可行性评估提供决策支持以及获知对下游影响,4,、基于元数据血统分析快速定位数据脉络，有助于数据质量问题解决,8,、基于流程的元数据统一管理有助于对元数据质量的控制,2,、构建统一的系统及关系视图,5,、多种自动化采集引擎，自动化展现企业元数据全景,5,、元数据自动化采集能力低，导致大量的人工参与工作,7,、基于屏幕取词方式统一业务元数据口径,6,、数据仓库只能被动式获知上游变更,6,、基于元数据变更通知数据仓库可主动捕获上游元数据变化,1,、元数据成信息孤岛，分布各异，元数据的使用效率低下，无法共享,1,、集中式元数据管理规避了信息孤岛，使元数据在全组织范围内共享,应用场景,-,从全局了解企业数据资产,91,需求场景,难以了解企业中数据的全貌，也难以了解系统间数据关系,处理方案,通过自动化采集，自动分析数据关系，形成数据全貌地图,应用场景,-,系统升级影响定位,92,应用场景,因国际业务系统升级，在“,ACCT_MASTER,”表中修改字段：非贸交易类型,NONTRADE_TYPE_NORE,，长度由,2,修改为,10,，需要定位本次升级对后续相关系统的影响,处理方案,对元数据“非贸交易类型,NONTRADE_TYPE_NORE,”进行影响分析，发现对下游的,II,ODM,SDM,FDM,都有影响，,IT,部门定位到影响之后修改相应程序，有利于快速锁定影响提高效率和质量,业务系统升级,修改字段长度,，可能会导致对后续系统产生影响,IT,部门对相关元数据进行影响分析,借助元数据管理系统的影响分析功能分析对下游的影响,解决问题消除升级影响,通过定位影响并做相应修改，达到消除影响的效果,应用场景,-,辅助报表问题定位,93,应用场景,某客户经理发现“产品营销分析”报表数据存在质量问题,处理方案,客户经理向,IT,部门提出异议，技术人员通过元数据平台血统分析发现“产品营销分析”受到上游,FDMEDM_CRM,等各层的影响，从而定位问题的源头，有利于快速低成本解决问题,客户经理提出异议,报表数据存在质量问题,IT,部门核查问题,通过元数据管理系统对问题报表进行,血统分析，发现与其相关的上游元数据,基于问题定位解决报表数据问题,IT,人员通过血统分析定位可能的问题路径，分析程序解决报表数据问题,应用场景,-,辅助,EDW,开发,94,前提：,确保生产环境中的基准库和对象库一致,全流程元数据及其关系准确,要点：,严格控制项目上线流程,基于元数据变更的通知机制,EDW,在基准库订阅元数据变更通知,EDW,在基准库订阅好变更通知，即入仓的所有表发生变更则元数据系统自动邮件通知,业务系统模型变更,CRM,系统的客户类型字段长度由,CHAR(1),修改为,CHAR(5),EDW,接收变更通知并分析影响,EDW,接受变更通知，并且通过快捷方式进行变更元数据的影响分析,普元元数据管理平台,95,元数据管理平台,组织结构,元数据采集流程,ETL,开发规范,制度流程,SQL,编写规范,功能实施,元数据功能,元数据维护,自动化采集,数据地图,数据分析,元数据实施,实施调研,采集设计,数据采集,质量,检查,支持,Shell,日志,格式规范,数据仓库,数据服务,清算,移动支付,完善,系统,变更上线流程,完善数据仓库运,维规范,变更,元数据管理流程,应用,应用,识别负责与关联处室,定义元数据角色,支撑,确定实施接口人,公共参数,风险,采集,采集,平台功能,96,应用,功能,元数据基础管理,接口服务,采集,权限集成,元数据关系管理,元数据维护,版本管理,变更管理,元数据检索,视图管理,元数据统计,元数据分析服务,影响分析,血统分析,差异分析,辅助业务应用,代码,管理,辅助,EDW,开发,系统管理,角色管理,参数管理,配置管理,元数据导出,元模型管理,数据地图,采集适配器管理,采集模板管理,元数据采集管理,数据访问,二次开发,分析服务,全链路分析,系统缓存,管理,元数据入库管理,适配器,Powercenter9,cognos10,ERWin7.3,Excel,模板,Perl,日志,dataStage,采集,注释采集,DB,数据字典,DB,数据记录,PowerDesigner,DB,数据字典,DDL,案例：某政策性银行企业级元数据管理,实现对数据模型、数据接口、报表指标等相关元数据的管理，进行企业级元数据的一致性、完整性检查和过程管控；,作为企业数据管控系统的组成部分，为数据质量、数据标准等系统提供服务；,提供完整的元数据视图，实现元数据信息的集成，便于从多角度查询、应用元数据；,通过影响分析功能进行上游系统变更的评估和影响性定位，辅助,EDW,平台开发及运维,协助下游报表应用的数据问题的追溯。,使用过程中，要求尽量简化流程，减少人工维护，以最少量的元数据信息建立数据链条，以保证在最小代价下进行准确的影响,/,血统分析。,目标,ODS/EDW/,数据集市,/,业务系统等,实施范围,数据库结构（表、视图）、物理模型、逻辑模型、,ETL,过程、,Mapping,映射、报表、维度、指标、数据标准、系统信息等,元数据类别,案例：某政策性银行企业级元数据管理,平台功能,制度流程,平台实施,影响,/,血统分析,数据地图,元模型管理,元数据采集,模板管理,元数据维护,变更管理,版本管理,元数据导出,视图管理,系统管理,制度元数据管理办法,制定改造或新建系统的元数据变更管理流程,制定系统日常变更的元数据变更管理流程,制定元数据采集流程,制定元数据使用管理流程,制定模型设计规范,制定,ETL,开发规范,制定数据接口规范,制定实施方法论,实施范围包括：数据库结构（表、视图）、物理模型、逻辑模型、,ETL,过程、,Mapping,映射、报表、维度、指标、数据标准、系统信息等,在实施过程中对元数据质量进行了控制,组织架构,总行高层参与设置专职的数据管控部门,专职的元数据管理团队，还包括数据管控其它方向的团队,元数据管理团队职责清晰,全行和元数据相关的技术、业务部门都参与,业务部门有专职或兼职元数据接口人,技术部门各项目有专职或兼职元数据接口人,案例：元数据管理,采集范围,管理分析类系统,II,工程,管理驾驶舱,开放数据服务,固定报表,金融统计平台,客户风险预警应用,市场风险应用,RWA,应用,评级器债项评级应用,应用系统,风险数据集市,中间表数据集市,财务集市,URPT,接口,风险,集市,金融统计平台,源业务系统,核心系统,信贷系统,商业汇票,工作流,资金系统,评级器系统,助学贷款系统（生源地）,助学贷款系统（高校）,Teller,系统,国际结算,客户关系管理系统,财务共享系统,总账,人力资源系统,统一报表,业务生产类,业务支持类,公共缓冲区,ODS,数据平台,临时区,基础区,汇总区,数据仓库,EDW,案例：元数据管理制度流程,案例效果：查询元数据,案例效果：影响血统分析,案例效果：版本管理,案例效果：数据地图,数据,管控,的首要目的,数据质量管理,105,数据质量管理是整个数据管控的最终目的,数据管控,-,数据质量管理,数据质量管理方法,监控,（发现问题）,分析,（分析问题）,修正,(,解决问题,),跟踪,(,执行监督,),依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据质量问题分析提供原始依据,依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程中知识的积累,提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程,对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问题可查、可跟踪,及时性、完善性、合法性、准确性、唯一性监控,问题分析、数据质量问题报告、知识库积累,源系统、数据平台、应用系统,关键：编号、解决期限、责任人,数据质量监控系统,数据质量报告分析系统,数据质量修正系统,数据质量,BUG,管理系统,数据质量检查内容（过程、技术、业务）,数据的及时性,即,ETL,过程中各个阶段数据提供或加工的及时性；,数据的完整性,即设计抽取的字段被完整地从源数据系统或从一个存储区传输到另一个目标存储区；,数据的正确性,即源数据提供的数据属性和值域被准确无误地保留到目标数据存储里；,数据的一致性,包括同一系统内不同列表间同一个指标值的一致和不同系统间相关指标值的一致，也就是使用同一个业务规则和计算公式从不同系统计算得出的结果应该相符；,数据的有效性,数据有效性检查即检查输入数据属性是否符合数据字典规定的属性，例如数字的字段不能有文字值，同时检查数据的有效范围，例如某一字段只接受规定的标准代码，其他的值均视为无效数据；,数据的精确性,确认经过传输、转化的数据没有被不合业务逻辑地取整和断位；,数据的时效性,确认数据产生的时间符合相关字段的业务逻辑，例如新的交易记录不能匹配给一个已经关闭的帐户，,ETL,应将此类数据析出作为错误数据进行分析。,数据质量检查的介入点,数据质量整体功能,数据,采集,文件日志,系统日志,执行脚本结果集,存储层,获取层,数据质量规则库,度量规则库,功能层,数据质量,需求,数据质量分析,数据质量报告,业务检核需求,技术检核需求,影响分析,血统,分析,报告生成,报告查询,报告发布,应用层,数据质量剖析,数据质量监控,数据质量检核信息库,数据库,考核指标库,告警数据信息库,单表问题分析,趋势分析,权限管理,系统配置,数据质量知识库,数据质量,监控,检,核方法配置,监控管理,度量规则配置,告警管理,问题处理,/,质量提升,问题划分,启动处理流程,清洗校正反馈,异常数据信息库,知识库管理,知识生成,知识应用,汇总数据信息,明细数据信息,数据质量产品功能简介,数据质量首页,111,全局检核规则柱状图直观展现,全局检核规则及检核方法明细,数据质量产品功能简介,数据质量检核方法管理,112,检核方法：检查数据是否满足业务规则的具体实例，可监控业务规则的符合度。,数据质量产品功能简介,数据质量问题数据监控