元数据·大数据·主数据元数据管理产品白皮书.docx

编号:Data Master-V 1-091106商业智能产品系列之
Data Master
元数据管理产品白皮书
YUCHENGTechnologies Ltd.

YUCHENG火r TechnoMesLM商业智能产品系列之Da匕Masler产品白皮书
新变得无人值守，使得本产品具有较高的智能性。在技术所限而无法自动获取元 数据的场景下，本产品提供了手动采集功能，可以保证企业数据加工链不至于因 为缺失该局部数据而形成断层，影响用户对元数据的使用效果。在可以获取局部 元数据的场景下，本产品提供了半自动采集的功能，由系统自动采集局部元数据， 对于自动无法自动采集局部的数据信息由用户进行补录完成。
自动采集是指Data Master根据采集任务到元数据源采集相关元数据的过程。 采集任务是对某个元数据按照某个频度去检查数据更新状况，根据检查结果对元 数据进行采集，主要由采集器和采集策略组成。除了系统内置的元数据采集器外， 系统还提供了接口供用户扩展实现自己的采集器，用户只需要实现采集器就可以 通过系统调度采集器完成相关元数据的采集，从而满足用户特色需求。例如，业 务上需要每半小时到某个数据库服务器上去采集数据库表元数据，那么可以建立一 个数据库表采集任务定时到服务器采集。
手动采集包括文本批量导入和通过工作界面录入两种方式。文本导入是指用 户将元数据录入到元数据模版文件中，用户在Data Mataster中将录入模版的元 数据导入到元数据中央存储库。
5.2.2 元数据管理
随着元数据不断的增加，如何对其分门别类、方便的管理？如何针对一些特 殊业务的元数据进行查看和修改？例如，如何统一规范来自不同系统的代码表。
Data Masler的元数据管理对所有采集的元数据进行统一的管理，在同一个页 面中进行修改、删除。
5.2.3 元数据变更及版本管理
随着时间的推移，系统的数据也在不断的发生更新变化。如何对越来越多的、 不断发生变化的企业元数据进行很好的管理呢？ Data Master提供了元数据变更 管理及版本管理功能。
用户可以查询元数据的变更情况，以及对自己关注的元数据变更进行订阅，第8页共16页

第8页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书在关注的元数据发生变更后，可以得到邮件通知。工作界面如下列图所示:
J及素
tUs®»：]mJ 用* nr sem：
mBssx»）：▼-ft =*：

元RWHT代码
元朝盟名行
费里工鳖
费里慑H
1 SQtlndex

N

277
2 System

Rrt

3 SQUnd^x

有
K*
107
4 Table

B
Wf
1
5 TM

1
6 Table

9

306
7 Schema

S
外，
3
8 Fo，*i9c5

21
9 Pnm«ry<ey

xW

239
10 Columr

季修

3266
显示从现10 .，13条.[于：10
图5元数据变更查询界面
♦度奉
订的零： 匚史青，：

[10 v H \ 丁1” > H ，. e 1 *.每天总亍：10图5元数据变更订阅界面
版本控制主要对通过发布版本功能对元数据进行版本记录。通过版本比对用 户可以查看和比对两个版本的元数据的差异，以及通过版本恢复功能将元数据恢 复到之前的某一个版本。工作界面如下列图所示：
第9页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r Technologies Ltd,商业智能产品系列之Data Master产品白皮书
. at—1
J相奈
thSKAft：— ：2ZH
z«S1»<)：.
Till VBI
▼原 Ef ，□・惠森春定IMFStfiHM所本SI违
1□21ie(VSe*9^V：.Oadmin201 声0,月 28 日口fT“ 分2^e,«S«xS9^V1.0
2□也往，•田V1Q»dmm201 幽5 月 28B12时 22 分.3□企业在■卡USSEanTV〉。admin201 声05 月 28 日皿14 分士业 W■至:tRSHCV，。
工0 ▼ K A I-]/! ► ►1 I复声从用3. S 3条•电:昱奉：10图6版本管理界面
5.3元数据分析及应用
随着企业内部的信息系统越来越多，甚至很多企业分散着数十种系统的情 况，这些企业的业务人员和决策层所关注的统计报表和指标，往往是经过许多业 务系统和假设干数据处理环节形成的。当末端的数据发生异常且没有元数据管理系 统的情况下，需要许多单位和部门(包括软件集成商)的人共同参与，利用手工 的方式去逐级查找数据出错的原因。这种方式不仅不利于问题的及时发现，而且 一旦出现问题，很难短时间内定位问题，甚至根本不可能定位问题的所在。如何 解决企业的这个突出问题呢，宇信易诚Data Master元数据分析给这个问题提出 了优秀的解决方案。
5.3.1 元数据分析
对数据进行集中管理，然后认识数据、分析数据、挖掘数据，这是企业利用 数据的最终目标。Data Master提供了强大的数据分析功能，跟踪记录数据的变 化情况，包括数据的卸出及后续加工的整个流程，提供多个视角分析数据在生命 周期中的变化情况，为企业更好的认识数据、分析数据、挖掘数据提供了强有力 的工具。
第1()页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r TechnoMes LM商业智能产品系列之Data Masler产品白皮书
元数据分析提供了强大的元数据影响分析、血缘分析以及综合分析，用于分 析上游数据发生变化会给下游数据带来哪些影响；下游数据发生变化时追踪上游 问题的源头；综合分析当前数据的变化会给下游数据带来哪些影响，以及该数据 发生变化的源头。
在银行B1系统中，每天都存在大量的数据从源系统卸载，然后进行标准化、 汇总等等一系列后续过程，最后再到报表展现。当从源系统卸载下来的数据的结 构发生变化时，银行科技部人员需要快速诊断这个数据的结构发生变化会给后续 哪些数据、哪些报表带来影响。DataMaster的影响分析便能够清晰的分析从源文 件到报表整个过程中数据的流向，并且以图形化的界面将整个加工过程显示给用 户，从而帮助用户分析出受影响的数据以及受影响的报表。
当业务部门的使用人员发现发现报表中某个指标有问题时，银行科技部人员 如何快速的了解该指标处理流程，进一步为定位问题提供帮助？ DataMaster的血 缘分析能够快速的追溯到该指标的从下游系统（数据集市）到上游（源系统）的 被转换流程，并以图形化的页面展示给用户。通过血缘分析科技部人员可以快速 了解该指标的处理流程，为进一步定位问题提供帮助。
用户可以选择BI数据加工和报表制作过程中的任意元数据进行血缘分析和 影响分析。
联人基工信旦 x值友人基二w旦-影胴分析 x|x鹏》.4掂
© H EC.BASE
臼 。口借友人至本信息©借款人至本信息
© 0 EC.CARD© H企业征信基时厚。匚）■驮人「本信息 JH © 洸 TD ENTERPRISEINFO->...
图7元数据影响分析工作界面
第11页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书
图9元数据血统分析工作界面
5.3.2 数据3也图
数据地图是从宏观角度展示系统以及系统之间数据流向关系，并支持从系统 到数据库的下钻及相关信息的展示，有助于用户由粗粒度到细粒度了解元数据资产。工作界面见下列图:
图10数据地图工作界面
装场mTtuar®式史it理xMir®元跤・分析
心手信易谑・
■■ ■觅

第12页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r Technologies Ltd,商业智能产品系列之Data Master产品白皮书
6产品特点
6.1 丰富多样的元数据采集手段
Data Master在元数据采集方面提供了自动获取、手动采集和半自动采集三种 手段。元数据自动采集是本产品的特色功能，系统直接把元数据信息推送给用户， 数据的动态更新变得无人值守，使得本产品具有较高的智能性。在技术所限而无 法自动获取元数据的场景下，本产品提供了手动采集功能，可以保证企业数据加 工链不至于因为缺失该局部数据而形成断层，影响用户对元数据的使用效果。
6.2 统一的元数据存储模型
Data Master抽象和归纳元数据类型，遵循CWM标准构建统一的元数据存储 模型，该模型具有良好的可扩展和可复用性，极大的提高了数据仓库或管理信息 类工程的投资回报。
6.3 强大的元数据分析
DataMaster可以采集并统一管理来自源系统、数据模型、ETL过程、数据集 市、报表工具的元数据，贯穿了从源端到目的端的各个环节。利用元数据分析可 以跟踪记录数据的变化情况，包括数据的卸出及后续加工的整个流程，提供多个 视角分析数据在生命周期中的变化情况，为企业更好的认识数据、分析数据、挖 掘数据提供了强大的工具。
6.4 灵活的版本管理
Data Master对数据文件、数据库表等元数据进行统一的版本控制，通过版本 控制可以追踪元数据的变更情况，恢复以前版本的元数据以及比对两个不同版本 元数据之间的差异。
第13页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r Technologies Ltd,商业智能产品系列之Data Master产品白皮书
6.5 可扩展的业务能力
Data Master允许用户添加新的元数据种类和获取方式，还可以和符合CWM 标准的第三方工具交换元数据信息。
6.6 “零”维护的高智能平台
Data Master能够根据用户预设的参数定期获取数据文件、数据库、ETL工具、 报表工具等元数据，并将发生变更的元数据信息推送给用户。该产品的应用，改 变了以往构建元数据管理系统需要大量人力参与的问题，效率、自动化、智能化 程度大大提高，是真正的高智能的元数据管理平台。
6.7 成熟而先进的技术架构
Data Master 采用了 基于 Web Service 的 SOA 架构，深入使用 Flex、JQuery 等Web2.0技术。通过Spring技术实现事务管理、WebService服务、数据访问、 认证与授权，提高了运行效率、可操作性和可维护性。
6.8 开放框架、重用组件、面向服务
超越传统BI产品，保持用户视角，面向应用交付，重用一切可以重用的BI 应用元素。
第14页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书目录
1 软件介绍1产品目标2
2 产品架构3产品功能4
2.1 元数据模型管理5元模型基本信息管理5
2.2 元数据采集及管理7元数据采集7
2.2.1 元数据管理8元数据变更及版本管理8
2.3 元数据分析及应用1()元数据分析10
2.3.1 数据土也图12产品特点13
2.4 丰富多样的元数据采集手段13
2.5 统一的元数据存储模型13
2.6 强大的元数据分析13
2.7 灵活的版本管理13
2.8 可扩展的业务能力14
2.9 “零”维护的高智能平台14
2.10 成熟而先进的技术架构14
2.11 开放框架、重用组件、面向服务14第1页共16页

第1页共16页
Copyright © Yucheng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Dala Master产品白皮书
1软件介绍
（1）软件全称：Data Master元数据管理产品
（2）硬件环境：
环境
型号与配置
设备说明
主机环境
IBM P55A（4CPU/16G 内存）
数据库
IBM P55A 一台或多台IBM HS21刀片服务器2CPU （4 核）/4G内存
一台P55A或4台刀片服务器做集群
备机环境
IBM P55A（4CPU/16G 内存）
数据库备机
IBM P55A（4CPU/16G 内存）
假设使用集群方案那么不需要Web服务器的 备机

（3）软件环境:
序号
软件类型
用途
软件名称
版本号
1
操作系统
数据库
AIX/Un i x/1i nux/Wi ndows
无要求
2
操作系统
Web应用服务器
AlX/Unix/linux/Windows
无要求
3
数据库
数据存储
0racle/DB2
Oracle 10G
DB2 9.7以上
4
中间件
应用服务器
WebLogic/Websphere
Weblogic8. 1.3
Websphere6. 1
5
客户端访问 环境
用户访问端
IE
6. 0以上

（4）编程语言：Java 1.5
（5）源程序量：345, 000行第1页共16页

第1页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r Technologies Ltd,商业智能产品系列之Data Master产品白皮书
2产品目标
DataMaster是宇信易诚公司开发的一款关于元数据管理的产品，可以帮助用 户提高了解数据、认识数据和管理数据的能力，使用户很好的利用企业的数据信 息、加快银行信息化速度、促进银行业务快速开展。
DalaMasler基于CWM标准建立统一的企业元数据存储模型，基于该元数据 模型统一存储日益增加的企业数据信息，为企业了解、管理海量数据奠定坚实的 基础。该产品可以存储、管理来自源系统、BI数据模型、ETL过程、数据集市、 报表工具的元数据，贯穿数据在数据源到数据目标加工过程中的各个环节。
Data Master提供统一企业元数据模型，对元数据进行动态采集和管理，并能 对元数据进行版本控制，真正实现对多变、动态的企业数据进行管理。
对数据进行集中管理，然后认识数据、分析数据、挖掘数据，这是企业利用 数据的最终目标。Data Master提供了强大的数据分析功能，通过影响分析、血 统分析以及表关联度分析功能，以及数据地图帮助企业用户理解数据的加工处理 过程，认识数据，提供多个视角分析数据在生命周期中的流转情况，为企业更好 的认识数据、分析数据、挖掘数据提供了强有力的工具。
建立了统一的元数据存储模型、满足了企业对数据的动态管理需求、提供了 强大的元数据分析功能，最后还需要给用户提供简洁的操作方式和良好的用户体 脸，才能构建起完善的元数据管理系统。Data Master建立了数据地图，使用户 能够从宏观了解企业的数据资产以及之间流转的关系。。
第2页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书系统展
示层

系统展
示层
系统功 能层
存储模 型层
采集活 配器层
元数据 来源层
cfiz)
营*竹台
巨
网络
元数据管理
E£n& j ：，.（一：.
jt »；；«***
无救火，出
I 杳*音询-I
I受史“仞 I
。神!》刘
STS?
一权时效用户大家
…：©；「…
m聚“郡川! 回
产品架构

图1宇信易诚Data Master产品架构图
由上图可以看出，Data Master产品大致由三大块功能体系组成，从下到上分 别为元数据模型管理、元数据采集及管理和元数据分析及应用。在下一章“产品 功能”中将对各体系功能进行详细说明。
第3页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
Technologies Ltd.

YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书
4硬件软件推荐配置
序号
服务器
配置项
推荐配置
1
应用服务器
物理机硬件配置(CPU/MEM)
4C/16G以上
操作系统及版本号
redhat 6.0 以上
应用系统/中间件及版本号
was7.0 以上,tomcat6.0 以上
2
数据库服务器
物理机硬件配直(CPU/MEM)
8C/32G以上
操作系统及版本号
redhat 6.0 以上
数据库系统及版本号
oracle 10G 以上
第4页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG火r Technologies Ltd,商业智能产品系列之Data Master产品白皮书
5产品功能
5.1 元数据模型管理
随着银行业务系统、管理信息系统等各类系统的增加，元数据开始零散的分 布在各个系统中，如何统一集中的管理这些元数据成为银行关注的一个问题。宇 信易诚Data Master基于CWM标准建立统一的企业元数据存储模型，基于该元 数据模型统一存储日益增加的企业数据信息，为企业了解、管理海量数据奠定坚 实的基础。。该产品可以存储、管理来自源系统、BI数据模型、ETL过程、数据 集市、报表工具的元数据，贯穿数据在数据源到数据目标加工过程中的各个环节。 本产品主要从元模型的基本信息管理、元模型的展现配置两方面对元数据模型信 息进行管理和维护。
5.1.1 元模型基本信息管理
在日常生活中，我们经常会看到模具使用的场景，例如各式各样的鞋子都是 参照设计好的鞋模生产出来的。同样，在Data Master中我们也需要为元数据设 计好模具，以便可以存放各式各样的元数据，在这里我们称其为元数据模型（简 称：元模型）。
本产品的元模型参考CWM标准进行设计，用统一的方式描述元数据，使得 元数据具有很好的扩展性和重复利用价值。元数据模型是元数据管理基础。在 DataMaster中，元数据都是按照对应元模型来存放的。例如，当前物理机器信 息元数据有IP地址、CPU和内存属性。一段时间以后，用户发现物理机器信息 还应该包括操作系统，那么用户可以灵活的在物理机器元模型中增加一个属性， 此时的物理机器元模型即为IP地址、CPU、内存属性和操作系统。
第5页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved
YUCHENG
Technologies Ltd.
商业智能产品系列之Data Master产品白皮书
Il三方工具元植力必 SfflS 核心植影也
典日包 a 关系负® 日量 后血卬创 字馥 字段霰 外倭 命名字段票 费分区 £tt 召修过程 存修过相好裁 案引
「字段 x| » x 5 x|■w，里・丑先裳刊I|母含美器的8合美率依*美察关器
xs^as八改 4t55Schtvna
名整S2 皇号女天下嗔1
St»5 ?€大，星Schema
表6耳 S 忖发制
•«一约束图2元模型查看工作界面
元模型基本信息管理包括元模型基本信息和元模型属性管理。元模型基本信 息管理是对元模型基本信息的编辑，工作界面如下列图所示:

图3元模型基本属性编辑界面
元模型属性信息管理是对模型的属性进行新增、删除、修改、查看，工作界 面如下列图所示:
第6页共16页
Copyright © Yuchcng Technologies Limited All Rights ReservedYUCHENG
x]
ST-se|鼻性列表

组合关系般电合关系
依葭关系
噱依依关系
Q搜索

墨也代为：

，•瀚C，修改抬副感
□属性代招

属性名称
所属类代科
所闻美名
嫌承住是否显示是否只读是否三
1 LJcollengths

心
Column
手般
public否否呈
2 LJcolumnld

Column
字段
public否否呈
3 口comment

兰建
Column
字整
public否否是
4 LJinitidlValue

Column
手段
privateSSS
5 口isNullable

星百可至
Column
字股
publicaSS
6 LJprecision

，艘
Column
手段
public55S
scale

d'SSG
Column
手短
private百否呈
8 口sqISimpleType

Column
字骰
publicee§

1^91 h < [O/ii
► >i
1 © I

显示从1到8 . e 8 s.每乂上不：10

图4元模型属性管理界面

Technologies Ltd.

商业智能产品系列之Data Master产品白皮书
5.2元数据采集及管理
随着银行业务系统、管理信息系统等各类系统的增加，银行科技部门需要维 护和管理的数据越来越多，且数据也在不断的发生更新变化。如何对越来越多、 不断发生变化的企业数据进行很好的管理呢？
Data Master提供统一企业元数据模型，对元数据进行动态采集和管理，并能 对元数据进行版本控制，真正实现对多变、动态的企业数据进行管理。
目前Data Masier可采集硬件、数据库表(Oracle、DB2)、ETL作业、数据文 件和报表工具(Microstrategies、Cognos)等元数据。
5.2.1 元数据采集
元数据零散的分布在各类系统以及数据加工的过程中，如何高效、及时、方 便的采集元数据成为银行建设元数据管理系统所关注的一个难点。Data Master 在元数据采集方面提供了自动采集、手动采集和半自动采集三种手段。元数据自 动采集是本产品的特色功能，系统直接把元数据信息推送给用户，数据的动态更第7页共16页

第7页共16页
Copyright © Yuchcng Technologies Limited All Rights Reserved