DB3302∕T 1126-2021 公共数据管理 数据共享规范(宁波市).pdf
《DB3302∕T 1126-2021 公共数据管理 数据共享规范(宁波市).pdf》由会员分享,可在线阅读,更多相关《DB3302∕T 1126-2021 公共数据管理 数据共享规范(宁波市).pdf(30页珍藏版)》请在咨信网上搜索。
1、 ICS 03.080.99 CCS A16 3302 浙江省宁波市地方标准 DB3302/T 11262021 公共数据管理 数据共享规范 Public data managementspecification for data sharing BDB3302/T 11262021 I 目次 前言 . II 1 范围 . 3 2 规范性引用文件 . 3 3 术语和定义 . 3 4 缩略语 . 4 5 数据归集 . 4 数据资源体系架构 . 4 5.1 归集要求 . 5 5.26 数据共享 . 5 共享方式 . 5 6.1 数据共享体系 . 6 6.2 共享要求 . 6 6.37 共享专题库/
2、数据表建设 . 7 共享专题库的构成 . 7 7.1 共享专题库/数据表表名命名规则 . 7 7.2 业务表数据元组成规则 . 8 7.38 质量评估 . 8 评估维度 . 8 8.1 评估方法 . 9 8.2 计算方法 . 9 8.3附录 A (规范性) 公共数据信息类别及关键索引数据元 . 10 附录 B (资料性) 核心业务数据元 . 12 参考文献 . 29 图 1 数据资源体系架构 . 5 图 2 数据使用示意图 . 7 表 1 数据质量评估规则及编码 . 9 表 A.1 关键索引数据元 . 10 表 B.1 核心业务数据元 . 12 DB3302/T 11262021 II 前言
3、本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由宁波市大数据发展管理局提出并归口。 本文件起草单位:宁波市大数据发展管理局、宁波市标准化研究院、杭州数政科技有限公司。 本文件主要起草人:杜永华、俞文群、谢先龙、朱宝剑、邓德苏、吴建港、王霄翔、许司琪、闫连玉、彭卫华、王冲。 DB3302/T 11262021 3 公共数据管理 数据共享规范 1 范围 本文件规定了公共数据共享相关术语和定义、缩略语以及数据归集、数据共享、共享专题库/数据表和质量评估的要求。 本文
4、件适用于公共数据在归集、共享、质量评估等环节的管理。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中, 注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 7408 数据元和交换格式 信息交换 日期和时间表示法 GB 11643 公民身份号码 GB 32100 法人和其他组织统一社会信用代码编码规则 DB33/T 2350-2021 数字化改革术语定义 DB33/T 2351 数字化改革 公共数据分类分级指南 3 术语和定义 DB33/T 2350-2021界定的以及下列术语和
5、定义适用于本文件。 3.1 公共数据 public data 国家机关、 法律法规规章授权的具有管理公共事务职能的组织, 在依法履行职责和提供公共服务过程中,所获取和产生的数据资源以及法律、法规规定纳入公共数据管理范围的其他数据资源。 来源:DB33/T 2350-2021,定义3.2.2.1,有修改 3.2 数据高铁 high-speed data 通过数据库的日志采集、解析、入库等手段,提高公共数据传输速度、准确度、完整度的数据归集方式。 来源:DB33/T 2350-2021,定义3.2.2.7 3.3 实时归集 real-time collection 通过数据高铁模式由日志同步实现数
6、据实时归集的方式。 3.4 数据仓 data warehouse 国家机关以及具有公共事务管理职能的组织采集和获取的,随时间动态更新,信息类型、格式等相对稳定的各类公共数据资源集合。 来源:DB33/T 2350-2021,定义3.2.2.8 3.5 接口共享 interface Sharing DB3302/T 11262021 4 通过接口进行数据共享的方式。 3.6 大数据处理分析系统 max compute 一种快速、 完全托管的GB/TB/PB级数据仓库解决方案。 提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低成本,并保障数据安全。
7、3.7 数源部门 data-source department 共享数据提供部门。 3.8 数据使用部门 data use department 申请使用共享数据的部门。 3.9 专题库/数据表 thematic data base/table 对治理后的数据进行专项分类形成可应用的库/表。 3.10 数据元 data element; DE 用一组属性规定其定义、标识、表示和允许值的数据单元。 来源:GB/T 18391.12009,定义3.3.8 4 缩略语 下列缩略语适用于本文件。 HTTPS:以安全为目标的HTTP通道,在HTTP的基础上通过传输加密和身份认证保证了传输过程安全性(Hy
8、per Text Transfer Protocol over Secure Socket Layer) SSL:安全套接字协议(Secure Sockets Layer) IRS:一体化资源系统(Integrated Resources System) RDS:云数据库(Relational Database Service) 5 数据归集 数据资源体系架构 5.1 数据资源体系架构见图1。 DB3302/T 11262021 5 市公共数据平台省平台大数据处理分析系统市平台大数据处理分析系统省公共数据平台区县归集数据市归集数据市政务云数据回流接口封装数据回流一体化资源系统(IRS)感知数据
9、特色数据市下发数据镇街数据仓专题库县级平台感知数据特色数据省下发数据区县数据仓专题库市级数据仓基础库专题库省数据中心地市数据仓省部门数据仓 图1 数据资源体系架构 归集要求 5.2 5.2.1 市级平台按照省市平台建设责任分工,建立完善的数据归集系统。 5.2.2 县级平台按需建设数据归集系统,建立本地数据归集能力,实现县域数据归集。 5.2.3 市县平台数据归集系统采用以下两种技术模式: 数据交换模式:通过库表桥接方式实现数据归集, 数据高铁模式:通过数据库的日志采集、解析、入库等手段,提高公共数据传输速度、准确度、完整度的数据归集模式。 5.2.4 数据交换模式的交换体系应包含数据交换系统
10、、交换前置节点、交换中心、桥接、数据传输、交换监控等模块,应支持数据库、文件的归集方式。 5.2.5 市级平台的数据高铁系统应具有县级数据高铁专属通道和管理模块,以满足县级平台本地数据实时归集需求。 5.2.6 数据高铁模式的实时归集系统应包含数据采集系统工具部署、 数据实时仓管理、 运维管理系统。实时归集的实施包含对各业务系统的数据采集技术支持和系统对接联调。 实时归集运维服务包含运维流程规范制定、监控搭建、技术整改、文档收集、运维评估等。 6 数据共享 共享方式 6.1 6.1.1 接口共享 6.1.1.1 接口共享系统实现市县两级复用,市接口共享系统与省接口共享系统实现对接和封装。市级平
11、台应通过身份认证、权限管理、密钥认证、数据加密、白名单机制、HTTPS 协议、SSL 证书等技术措施,保障数据接口共享系统在数据使用与传输过程中的网络安全与数据安全。 DB3302/T 11262021 6 6.1.1.2 共享接口系统调用响应时间应低于 1500ms。高频调用接口可支撑每秒 500 次并发量;低频调用接口可支撑每秒 100 次并发量。 6.1.2 批量共享 6.1.2.1 库表授权 市级公共数据平台提供统一的大数据分析处理系统环境, 各应用部门通过库表授权方式, 实现批量数据共享使用。处理后的结果数据根据数据内容的分类分级标准,经过对应审批后,通过生成接口或批量导出方式使用。
12、 6.1.2.2 数据回流 省、市、县级平台之间的批量数据回流: a) 省通过库表授权的方式,将省里涉及地市的数据授权给市级数据仓; b) 市通过库表授权的方式,将市里涉及县级的数据授权给县级数据仓。 数据共享体系 6.2 6.2.1 数据共享体系由数源部门、公共数据主管部门、数据使用部门组成。 6.2.2 公共数据主管部门负责平台建设、管理,数据编目、分类分级、归集、共享以及特色数据仓建设实施,负责本级数据使用部门共享数据申请的审批管理工作。 共享要求 6.3 6.3.1 共享申请 数据使用部门通过省IRS系统在线提出数据共享需求,要素应包括但不限于: 数据需求部门, 联系人, 联系方式,
13、应用场景, 申请理由, 需求数据项, 数源单位。 6.3.2 数据使用 市公共数据平台内的数据使用(见图2)可通过批量数据导出或接口服务方式将大数据分析处理系统内处理分析后的结果数据透出至云服务器或数据库: 批量导出:应提交数据导出申请至数据主管部门,数据主管部门审批通过后,由实施人员进行数据导出授权,实施完成后方可导出数据。导出后的数据不能用于申请范围以外的使用途径; 接口导出:应提交接口申请至数据主管部门,数据主管部门审批通过后,由实施人员生成发布接口,生成接口过程中涉及的数据导出至 RDS 流程无需审批,实施完成后提供接口调用信息。 DB3302/T 11262021 使用datawor
14、ks(数据开发平台)数据集成工具同步数据至RDS(无需审批)API使用dataworks(数据开发平台)数据服务功能生成API接口接口平台接口注册接口调用接口服务申请/审批批量导出申请/审批使用dataworks(数据开发平台)数据集成工具导出数据一体化智能化公共数据平台ODPS(大数据处理分析系统)市级数据仓区县数据仓申请审批库表申请RDS(云数据库)业务应用RDS(云数据库)ECS(云服务器) 图2 数据使用示意图 7 共享专题库/数据表建设 z7DB3302/T 11262021 8 a) 区域简称:规范化简称, b) 部门简称:规范化简称, c) 业务系统名:业务系统登记名, d) 核
15、心业务:一般 46 个中文字,且能反映业务核心内容, e) 表_扩展:表类型的说明,如字典表、代码表。 示例:宁波市交通局公交运营平台司机登记表、宁波市交通局公交运营平台司机登记表_字典。 7.2.2 共享专题库名命名规则:区域简称+核心业务+专题库_扩展。具体要求如下: a) 区域简称:规范化简称, b) 核心业务:能反映一类相关核心业务的名称, c) 其他:英文的共享专题库/数据表表名在中文名称的基础上,采用首位拼音字母组合而成,如出现重名情况时,将核心业务部分采用中文名的全部拼音字母代替,如仍有重名,则通过增加扩展部分进行区分。 示例:宁波市司机专题库、宁波市营运车辆专题库。 业务表数据
16、元组成规则 7.3 7.3.1 组成规则 7.3.1.1 业务表内的数据元由关键索引数据元、核心业务数据元、扩展业务数据元三部分组成。 7.3.1.2 关键索引数据元应符合附录 A 的要求;核心业务数据元应符合附录 B 的要求。 7.3.2 关键索引数据元 关键索引数据元的数据内容一般采用编码形式: 身份证件号码应符合 GB 11643 的要求, 统一社会信用代码应符合 GB 32100 的要求, 其他关键索引数据元编码应符合数源部门的编码规则。 7.3.3 核心业务数据元 核心业务数据元应描述业务的关键和基本属性。 7.3.4 扩展业务数据元 在核心业务数据元基础上, 随着业务数据表的共享使
17、用, 所产生的扩展业务属性或关联业务索引数据元。 8 质量评估 评估维度 8.1 数据质量评估维度可从7个维度来评估数据是否达到预期设定的质量要求,主要内容如下: 完整性:用于度量数据丢失率或数据不可用率, 准确性:用于度量数据和信息的正确率, 及时性:用于度量数据更新的及时率 规范性:用于度量数据按统一格式、规范存储的比例, 唯一性:用于度量数据的重复率, 一致性:用于度量数据的值在信息含义上的不一致率, DB3302/T 11262021 9 关联性:用于度量关联数据的缺失率。 评估方法 8.2 采用计算机方式进行评估,按照一定的编码规则对评估规则进行编码,评估规则编码定长4位,分为两段,
18、第一段占1码位,为第1位,用大写字母AF表示,第二段占3码位,为第24位,从001开始顺序编码,具体评估规则及编码见表1: 表1 数据质量评估规则及编码 维度 编码 评估规则 A 完整性 A001 校验主要字段是否为空 B 准确性 B001 检验数值是否异常 B002 校验数据含有TAB/ENTER键 B003 检验字段首部是否含有空格 B004 检验字段尾部是否含有空格 C 及时性 C001 检验字段数据更新的及时性 D 规范性 D001 校验字段长度 D002 检验字段是否超出字典范围 D003 检验字段是否含有特殊字符 D004 检验字段是否含有给定字符以外的特殊字符 D005 检验字段
19、是否含有特定字符 D006 检验字段是否含有除特定字符外的字符 D007 检验字段格式是否规范 D008 检验字段是否符合编码规则 E 唯一性 E001 校验主键是否重复 E002 校验记录是否重复 F 一致性 F001 检验字段A与字段B是否一致 F002 检验字段记录的统一性 G 关联性 G001 检验字段A与字段B逻辑关系 计算方法 8.3 通过公式1计算得到每条规则的分值,利用评估模型得到数据集的数据质量分: = (1) 式中: Fj 数据Dj 的质量分; Wj 规则Ri 的权重; Si 规则Ri 的分值。 DB3302/T 11262021 10 A A 附录A (规范性) 公共数据
20、信息类别及关键索引数据元 公共数据元经按业务内容分类,由两段3位编码进行标识。第一段三位数字为一级分类,第二段三位数字为二级分类。各类别信息的关键索引数据元见表A.1。 示例:“自然人职业信息”的类别标识符为“001002”,其中前三位为“001”为所属一级分类,即“自然人基本信息类”,后三位“002”为在二级分类中的顺序号。 表A.1 信息类别及关键索引数据元表 标识符 信息类别 关键索引数据元 001001 自然人基本信息类 自然人基本信息 身份证件号码 001002 自然人职业信息 工作单位统一社会信用代码、身份证件号码 002001 机构团体类 机构基本信息 机构统一社会信用代码 00
21、3001 证照信息类 自然人证照信息 身份证件号码 003002 机构证照信息 机构统一社会信用代码 004001 交通运输类 交通工具类信息 身份证件号码、发动机编号 004002 交通事件类信息 主体身份证件号码 004003 交通设备类信息 设备编号 005001 医疗卫生类 患者信息 身份证件号码 005002 医疗卫生类事件信息 事件编号 006001 安全生产类 安全生产人员类信息 身份证件号码 006002 安全生产事件类信息 事件编号 007001 信用服务类 行政处罚类信息 统一社会信用代码 007002 信用评价类信息 统一社会信用代码 008001 社保就业类 社保就业人
22、员类信息 身份证件号码 008002 参保机构类信息 统一社会信用代码 008003 社保就业类案件信息 对象统一社会信用代码 009001 城建住房类 建筑信息 身份证件号码、建筑物名称 009002 证件信息 身份证件号码 009003 公积金信息 身份证件号码 009004 城建住房类项目信息 项目编号 010001 教育文化类 教职工人员信息 身份证件号码 010002 学生类人员信息 身份证件号码 011001 生态环境类 生态区域类信息 区域名称 011002 生态环境类事件信息 违法单位 011003 监测指标类信息 指标名称 012001 科技创新类 成果信息 成果名称、成果完
23、成人 013001 财税金融类 纳税人信息 统一社会信用代码 013002 经济指标信息 指标名称、税务机关名称 014001 工业制造类 项目类信息 项目代码 DB3302/T 11262021 11 表 A.1 信息类别及关键索引数据元表(续) 标识符 信息类别 关键索引数据元 014002 工业制造类 工业制造类经济主体信息 统一社会信用代码 014003 工程类信息 工程类型 014004 工业制造产品类信息 批准文号 014005 工业制造类指标信息 指标类型 015001 农业农村类 农业类项目信息 项目代码 015002 农业类经济主体信息 统一社会信用代码 015003 农村类
24、信息 乡村名称 015004 农业产品类信息 统一社会信用代码 016001 商贸服务类 商贸服务类信息 统一社会信用代码 016002 公共服务类信息 用户号 017001 市场监督类 市场主体信息 统一社会信用代码 017002 场所信息 名称 017003 处罚信息 决定书文号 018001 公共安全类 安全事件类信息 身份证件号码 018002 公共设施信息 统一社会信用代码 019001 资源能源类 资源类信息 资源名称 019002 交易信息 交易对象 020001 空间地址类 地址类信息 主地址信息 020002 空间地理类信息 经度、纬度 DB3302/T 11262021 1
25、2 B B 附录B (资料性) 核心业务数据元 B.1 核心业务数据元(见表 B.1)通过以下属性进行描述: 标识符, 信息类别, 名称, 定义, 数据类型, 数据格式, 备注, 数据项级别, 数据集级别。 B.2 标识符通过在信息类别标识符(见附录 A)基础上增加一段三位编码来标识,该三位数字为同一信息类别中数据元的顺序号。 示例:“兵役状况”的标识符是 001001006,其中前两段各三位“001001”为该数据元所属信息类别的标识,后三位“006”为该数据在自然人基本信息数据元中的顺序号。 B.3 数据级别按 DB33/T 2351-2021 的分级方法和判定标准确定,并以信息类别下属数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB3302T 1126-2021 公共数据管理 数据共享规范宁波市 DB3302 1126 2021 公共 数据管理 数据 共享 规范 宁波市
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。