H数据质量保障体系项目需求情况汇报(与“数据”有关文档共49张).pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,H2010数据质量保障体系,H2010的数据库群内涵,H2010数据管理的各部门职责,H2010的质量保障机制,H2010数据质量保障系统的设计与实施,第1页，共49页。,H2010的数据库群内涵,H2010数据库群数据质量的相关含义,H2010数据库群的构建要求和目标,H2010数据库群的数据分类,H2010数据库群的管理原则,第2页，共49页。,数据库群：,按数据在应用过程中的产生情况分为原始数据、基础数据和应用数据，而由原始数据和基础数据组成的所有数据库即为数据库群。,海关数据库群质量保障系统：,是以保障数据库群中数据的规范性、一致性、完整性、及时性和准确性为目标而构建的质量管理和检控系统，是为了保障各种数据在转换和输出过程中的一致性、完整性、及时性和合法性而建立的质量管理系统。,H2010数据库群数据质量的相关含义,第3页，共49页。,构建要求：,数据服务的统一高效,数据的标准、可控、可靠和可用,数据使用的规范性、准确性、一致性和安全性,目标：,数据使用过程中的一致和有效,统一的数据标准和逻辑参数，保障“数出一门，规范管理”,实现各部门之间数据的良性互动，保障数据的,可控、可靠和可用,H2010数据库群的构建要求和目标,第4页，共49页。,按数据库群的种类分为,：,原始数据,基础数据,按数据来源分为,：,海关监管产生的原始数据（报关单、合同）,海关业务派生数据（内控、评估、分析）,海关外部数据（仓单、银行税收等）,H2010数据库群内的数据分类,第5页，共49页。,数据管理的基本原则,：,统一管理：,统计部门统筹管理,技术部门技术保障,其他业务职能部门配合,分工负责,：,谁主管谁负责,数出一门：,数据使用必经过统计部门,保障安全：,严格遵守数据安全制度,H2010数据库群的管理原则,第6页，共49页。,H2010数据质量管理的部门职责,数据质量保障过程中的问题：,数据的多样性、大量性和繁杂性,入库格式统一性和标准性,数据提供和出库要求的多样性,数据管理的复杂性,涉及部门的广泛性,。,第7页，共49页。,H2010数据质量管理的部门职责,数据质量保障的分类管理,数据生成部门,原始数据的产出部门，是与海关管理有关或监管过程中产生的最初数据的部门。,数据管理部门,根据海关规定，对海关数据进行职能管理的部门。,数据应用部门,具体应用海关数据于海关管理和社会实践的部门。,第8页，共49页。,H2010数据质量管理的部门职责,数据质量保障的部门职责,数据生成部门,负责原始数据质量，保障数据源同一,数据管理部门,负责基础数据质量，保障数据过程同一,数据应用部门,负责应用数据质量，保障数据应用后续的同一,第9页，共49页。,H2010数据质量管理的部门职责,原始数据质量保障的部门要求,基础数据管理部门有责任复核的数据,数据入库前有数据提供部门（海关内各业务部门管理）负责的数据,其他原始数据,第10页，共49页。,H2010数据质量管理的部门职责,基础数据质量保障的部门要求,由基础数据管理部门负责数据质量的一致性、完整性、及时性和合法性。,基础数据的准确性遵循源头管理，发现问题后原则上要求反馈至原始数据部门进行修改。,基础数据的入库由系统自动完成，入库规则有原始数据生成部门和管理部门协商制订。,基础数据出库实行审批制，审批完成后，由技术部门按审批口径或按出库规则统一提供。,第11页，共49页。,H2010数据质量管理的部门职责,应用数据质量保障的部门要求,出库应用数据实行审批制，按照相关海关规定的审批程序来实施。,出库后的应用数据质量由应用数据部门负责,发现相关数据问题应及时反馈基础数据部门，以保障原始数据和基础数据差错的及时更正。,第12页，共49页。,质量保障机制的构成：,入库数据标准与数据转换规则,库内数据的质量管理规则,出库数据标准与数据转换规则,数据差错的分析和评估,数据质量问题联系配合机制,H2010的质量保障机制,第13页，共49页。,质量管理控制原则,以实现数据的完整性、一致性、及时性、准确性和数据可靠、可控、可用为总体目标,质量管理以参数检控为主要手段,数据库群质量实行分类管理,数据出入库实行审批备案制度,各数据部门制定联系配合办法，分工合作,各数据库转换参数由数据提供部门和管理部门协商设定,H2010的质量保障机制,第14页，共49页。,入库数据标准与数据转换规则,入库标准,：,用以统一所有进入基础数据库中的数据结构和数据标准，保证基础数据的规范性。,数据转换规则：,实行入库审批制度和数据入库标准化,保障数据入库前后的一致性和同步性,保证数据的完整性和及时性,保证数据的准确性,提供数据比对与补救机制,H2010的质量保障机制,第15页，共49页。,库内数据的质量管理规则,原则上认为经过入库处理后所产生的基础数据，是无需再经过数据检控的可靠数据,该机制主要用于发现基础数据中因为规则本身所存在的问题，对海关相关部门的业务和工作的开展存在有一定的影响的数据,需要数据管理部门批准并通知相关业务部门,该类数据的修改由数据提供部门从源头进行，或由技术部门集中进行，以保障基础数据的准确性和后续应用数据的合理性和合法性。,H2010的质量保障机制,第16页，共49页。,出库数据标准与数据转换规则,出库标准：,是指将基础数据库数据导出到分析应用系统数据库的数据结构、格式和标准。,数据转化机制：,实行出库审批备案制度和数据出库标准化,保障数据出库前后的一致性和同步性,数据比对和准确性有数据应用部门完成,数据出库由技术部门统一完成,H2010的质量保障机制,第17页，共49页。,数据差错的分析和评估,建立数据库群质量考核(评估)体系，利用风险管理、统计原理等对入库数据质量进行分析、检控和评估，实现对数据质量的改善和控制。,考核对象：,对直属海关进行考核,对进入数据库群的数据库进行考核,源数据主管部门负责本数据库的数据质量,定期发布数据使用情况和质量报告,H2010的质量保障机制,第18页，共49页。,数据质量问题联系配合机制,坚持“联系顺畅，源头改起，反馈及时，数出一门”的原则。,协调配合，分工合作,按照“谁主管，谁负责”的要求，建立传送流转、备案审批、反馈处理的闭环质量保障工作流程,问题从源头修改并统一修改，重新入库,定期通报异常数据处理情况,H2010的质量保障机制,第19页，共49页。,业务流程描述,涉及数据：,原始数据、基础数据、应用数据和差错反馈数据,涉及部门：,原始数据生成部门、基础数据管理部门、应用数据应用部门和数据库群的辅助技术部门,功能模块：,原始数据入库产生基础数据质量，基础数据库内数据质量模块，基础数据出库数据质量，数据差错反馈及其分析,H2010数据质量保障系统的设计与实施,第20页，共49页。,数据质量保障整体业务流程图,第21页，共49页。,出库后的应用数据质量由应用数据部门负责,H2010数据质量保障系统的设计与实施,原始数据的产出部门，是与海关管理有关或监管过程中产生的最初数据的部门。,建立数据库群质量考核(评估)体系，利用风险管理、统计原理等对入库数据质量进行分析、检控和评估，实现对数据质量的改善和控制。,它是实现对海关数据的集中化、标准化、规范化管理的基础。,为不影响海关后续应用系统的数据使用，这就需要在基础数据中找出这些数据返回到原始数据主管部门修改后重新进行入库，生成新的基础数据来替换原有数据（或由技术部门集中进行修改）；,出库数据的导入、导出和传输：经转换校验合格后的数据处理。,H2010数据质量保障系统的设计与实施,H2010数据质量保障系统的设计与实施,数据质量保障的分类管理,各数据库转换参数由数据提供部门和管理部门协商设定,数据入库前有数据提供部门（海关内各业务部门管理）负责的数据,入库数据质量,：,入库环节是指对需进入海关基础数据库群的原始数据进行导入、清洗、装载，整合后形成基础数据的数据处理过程。它是实现对海关数据的集中化、标准化、规范化管理的基础。,涉及内容包括,：,原始数据入库规范,入库数据前后的一致性和同步性检查,入库数据的完整性和及时性检查,数据入库中数据问题的互动反馈,参数管理,H2010数据质量保障系统的设计与实施,第22页，共49页。,数据入库质量保障业务流程图,第23页，共49页。,入库数据质量（功能模块设计）,检控模块,规范性检查,一致性检查、完整性检查和及时性检查,检控参数选择,H2010数据质量保障系统的设计与实施,第24页，共49页。,入库数据质量（功能模块设计）,转换和校验模块,数据转换生成,系统数据校验,转换结果监控,H2010数据质量保障系统的设计与实施,第25页，共49页。,入库数据质量（功能模块设计）,参数模块,参数增加、修改和删除,批量导入参数,批量导出参数,H2010数据质量保障系统的设计与实施,第26页，共49页。,库内数据质量,由于海关业务的发展或改革的需要，有部分需要检控和修改的数据存在。为不影响海关后续应用系统的数据使用，这就需要在基础数据中找出这些数据返回到原始数据主管部门修改后重新进行入库，生成新的基础数据来替换原有数据（或由技术部门集中进行修改）；以保障数据后续使用的一致性。,H2010数据质量保障系统的设计与实施,第27页，共49页。,库内数据质量保障业务流程图,第28页，共49页。,库内数据质量（功能模块设计）,检控模块,基础数据检控,基础数据追溯成原始数据,互动反馈修改，重新入库,技术部门集中修改清单生成和导出,H2010数据质量保障系统的设计与实施,第29页，共49页。,库内数据质量（功能模块设计）,参数模块,参数增加、修改和删除,批量导入参数,批量导出参数,H2010数据质量保障系统的设计与实施,第30页，共49页。,出库数据质量,由于海关业务的广泛性和多样性要求，为适应业务部门的数据应用的需要和为保障出库数据的一致性；数据管理部门设置一个统一规范的出库标准，限制转换成统一格式的应用数据后，供给数据应用部门使用。,各应用数据部门接受该种格式的应用数据后，可自行转化为所需格式的应用数据，并对自行对数据进行相应的准确性、完整性和一致性检控。,发现数据问题时，须通过互动反馈模块反馈原始数据主管部门进行相应修改后重新入库，同时将反馈数据情况抄送数据管理部门进行备案。,H2010数据质量保障系统的设计与实施,第31页，共49页。,出库数据质量保障业务流程图,第32页，共49页。,出库数据质量（功能模块设计）,出库标准,出库标准是数据管理部门按照数据应用部门所提出申请数据要求，经审批后所确认的导出并传输数据的格式。要求对于相同数据以统一格式进行输出,数据申请格式、审批备案格式、数据传输格式的设定和保存；以及数据格式的增加、修改和删除,H2010数据质量保障系统的设计与实施,第33页，共49页。,出库数据质量（功能模块设计）,出库数据转换和校验：实现从基础数据向标准格式的应用数据的转换和校验，以保障各应用数据中的一致性。,按照出库标准的规定格式转换生成应用数据,系统进行校验,人工监控界面,H2010数据质量保障系统的设计与实施,第34页，共49页。,出库数据质量（功能模块设计）,出库数据的导入、导出和传输：,经转换校验合格后的数据处理。,固定时间的：由技术部门按照确定的渠道定时定量以规定格式进行传送,不固定时间：由固定界面经操作人员确认后，按申请要求进行导出和传送。,H2010数据质量保障系统的设计与实施,第35页，共49页。,差错数据互动反馈和分析,差错数据反馈和分析是数据管理部门、原始数据主管部门、数据应用部门之间进行联系配合的功能模块,所形成的差错数据反馈库是数据管理部门进行差错数据分析、评估和生成逻辑检控参数据使用。,H2010数据质量保障系统的设计与实施,第36页，共49页。,差错反馈和分析业务流程图,第37页，共49页。,差错数据互动反馈和分析,互动反馈（联系配合机制）,完成对数据合法性检控、审核、使用中发现的不合法或有疑问的数据记录,进行分发查询、对查询数据的反馈、对已反馈数据的核注、及对查询反馈数据的查询统计,可以在入库、出库的检控过程中自动调用，完成自动分发，也可以在应用环境单独生成查询单,查询单的下发、核注部门为统计部门，查询单的反馈部门为各数据库的主管部门。,H2010数据质量保障系统的设计与实施,第38页，共49页。,互动反馈业务流程图,第39页，共49页。,差错数据互动反馈和分析,互动反馈（主要功能,）,生成、分发查询单,反馈查询,核注查询,H2010数据质量保障系统的设计与实施,第40页，共49页。,差错数据互动反馈和分析,差错数据查询汇总,将某一时期下发或反馈的查询反馈表，以及数据差错的具体情况以表格与图片的形式展示,生成相应格式的数据差错分析和评估报告,反馈给相关业务主管部门来指导数据的审核和更正,H2010数据质量保障系统的设计与实施,第41页，共49页。,差错数据互动反馈和分析,差错数据分析：,通过互动反馈信息分析的“记录查询”界面，选择“日期”、“条件”、“显示项目”、“保存条件”,在“查询列表”中对已有查询条件修改后，进行“运行”、“显示结果”、“导出”等操作。,H2010数据质量保障系统的设计与实施,第42页，共49页。,差错数据互动反馈和分析,数据差错汇总分析,H2010数据质量保障系统的设计与实施,第43页，共49页。,差错数据互动反馈和分析（参数生成）,参数生成：利用差错数据反馈库中的差错数据和互动反馈数据的数据差错数据，利用系统自动汇总处理和分析能力，进行数据加工和分析，生成系统检控所需的逻辑检控参数，供系统进行数据检控使用。,分析汇总功能,用户判断处理,参数生成,参数测试和导出,H2010数据质量保障系统的设计与实施,第44页，共49页。,参数生成功能,差错数据分析汇总,用户判断处理,H2010数据质量保障系统的设计与实施,第45页，共49页。,参数生成功能,参数生成,对于分析汇总后可生成逻辑检控参数的差错数据分析报告，根据汇总分析报告的内容，提供引导界面供用户生成相应的逻辑检控参数。,H2010数据质量保障系统的设计与实施,第46页，共49页。,数据质量保障的分类管理,库内数据质量（功能模块设计）,H2010数据质量保障系统的设计与实施,应用数据质量保障的部门要求,基础数据管理部门有责任复核的数据,H2010数据质量保障系统的设计与实施,系统进行校验,数据出库由技术部门统一完成,保证数据的完整性和及时性,将某一时期下发或反馈的查询反馈表，以及数据差错的具体情况以表格与图片的形式展示,各数据库转换参数由数据提供部门和管理部门协商设定,差错数据互动反馈和分析,H2010数据质量保障系统的设计与实施,数据入库中数据问题的互动反馈,实行出库审批备案制度和数据出库标准化,参数生成：利用差错数据反馈库中的差错数据和互动反馈数据的数据差错数据，利用系统自动汇总处理和分析能力，进行数据加工和分析，生成系统检控所需的逻辑检控参数，供系统进行数据检控使用。,参数生成功能,测试参数是否可用,参数导入导出功能,H2010数据质量保障系统的设计与实施,第47页，共49页。,辅助性功能,用户管理,安全管理,软硬件环境条件,数据加载、导入和导出,。,H2010数据质量保障系统的设计与实施,第48页，共49页。,汇报结束，敬请指正！,2010年6月于黄山。,第49页，共49页。,