DB23_T 3473—2023设备远程运维系统多源数据融合技术规范.pdf

ICS 35.240.50CCS L 6723黑龙江省地方标准DB23/T XXXXXXXX设备远程运维系统多源数据融合技术规范XXXX-XX-XX 发布XXXX-XX-XX 实施黑龙江省市场监督管理局发 布DB23/XXXXXXXXXI目次前言.II1范围.12规范性引用文件.13术语和定义.14缩略语.25参考模型.26技术要求.27技术评价.3附录 A（资料性）远程运维系统多源数据融合流程.4DB23/XXXXXXXXXII前言本文件按照GB/T 1.1-2020标准化工作导则 第1部分标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由黑龙江省工业和信息化厅提出并归口。本文件起草单位：黑龙江省工业信息化发展中心(黑龙江省电子技术研究所)、哈尔滨理工大学、黑龙江创新推广工业互联网发展中心有限公司、黑龙江省标准化研究院。本文件主要起草人：郑显生、孙丽萍、郭宇亮、董震宇、罗松、董力、王丹丹、王淼庚、陈要武、陈亮、姜欣、施晓林、穆伟然、王胜男、车涵、李辉、李宝才、王军、左晓英、刘鹏林、曲鹏飞、刘昊、严悦、张颜遵。DB23/XXXXXXXXX1设备远程运维系统多源数据融合技术规范1范围本文件规定了设备远程运维系统（简称“运维系统”）多源数据融合的术语和定义、缩略语、参考模型、技术要求和技术评价。本文件适用于工业设备的维护单位建设远程运维平台多源数据融合时使用的技术。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 23011-2022 信息化和工业化融合 数字化转型 价值效益参考模型3术语和定义下列术语和定义适用于本文件。3.1数据融合将各种不同的数据信息进行综合，吸取不同数据源的特点，然后从中提取出统一的，比单一数据更好、更丰富的信息。3.2远程运维通过信息技术对设备进行远程的数据采集、数据分析,判断设备的运行状态,并提供相应的运维服务。3.3数据管理数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。3.4运维MDM描述了一组规程、技术和解决方案，用于创建并维护运维数据的一致性、完整性、相关性和精确性。DB23/XXXXXXXXX24缩略语下列缩略语适用于本文件。MDM 主数据管理（Master Data Management）5参考模型设备远程运维系统多源数据融合流程，见附录A。6技术要求6.1数据规则6.1.1 多源数据标准化命名规则命名规则应满足下列条件：a)对数据的名称、编码、层级、层的属性名称进行标准化；b)确保协调一致，统一管理；c)解决各数据源不规范的命名方式，避免同名不同义、同义不同名；d)解决系统之间数据集成的标准；e)保证跨部门数据分析时数据一致理解，同时也是沟通 IT 和业务的一致理解。6.1.2 统一数据扩展规则运维系统应对指标代码，元数据，子类等扩展要素的扩展规则进行统一限定。6.2数据采集6.2.1采集配置管理6.2.5.1 配置触发采集的方式包括实时采集、按小时采集、按天采集、按月采集等。6.2.5.2 配置数据采集的存储位置，以便于安全存放与管理。6.2.2离线采集离线采集，即非实时采集，可分为下列两种模式：a)推送模式。设备运维数据定期推送到运维系统存储设备进行存储，由运维系统负责实现数据入库等相关操作；b)获取模式。由运维系统发出数据获取指令，设备按照指令要求上传运维数据到运维系统实现数据入库等相关操作。6.2.3实时采集在运维系统前置设备建立数据监听机制，监听各采集单元是否将数据推送到运维系统，当有数据产生时，实时地将数据采集到运维系统，用于数据处理。6.2.4接口服务采集基于各系统提供的数据接口，运维系统通过调用接口服务，实现数据文件的采集。DB23/XXXXXXXXX36.2.5采集异常处理6.2.4.1 运维系统提供采集异常处理机制，包括：采集任务中断、采集数据失败等相关异常现象时，实现相关的补采机制，或通过告警的方式通知系统用户。6.2.4.2 监听采集任务中断或网络中断等异常故障时，运维系统可智能触发补采机制，若无法补采，可通知系统用户进行故障检查。6.3数据处理6.3.1清洗转换对前端采集的多源数据进行清洗与转换处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。6.3.2数据加工对采集数据库和基础数据库中的数据进行加工，汇总到综合指标数据库，并在此基础上进一步挖掘分析，按照主题逻辑设计和转换规则设计，形成运维管理数据库。6.3.3数据加载将采集与清洗转换的数据，准确、及时地存储到不同目标库中。6.3.4数据校验6.3.4.1 运维数据校验包括数据采集、数据加载、数据分发等过程中的数据校验。6.3.4.2 在数据采集过程中通过数据源与目标数据库之间的数据对比分析，进一步分析、发现与解决在数据抽取过程可能产生的异常错误信息。6.3.5数据异常处理对运维数据整合过程中出现不同种类的异常现象应通过建立异常处理机制保障系统稳定性。6.4数据统一调度6.4.1运维管理数据统一调度应完成多源数据融合平台所有数据处理工作的统一执行调度，包括采集任务调度、资源调度、优先级设定等。6.4.2统一调度能力包括统一调度配置、统一调度运行、资源控制、调度策略、调度监控等。6.5数据交换共享6.5.1通过数据标准化，统一数据语言，实现数据资源共享，保持各业务系统之间数据的一致性。6.5.2数据共享应遵循可实现性最强、成本最小、速度最快、可拓展性最强的原则，提升数据复用效率与价值。6.5.3远程运维平台中的数据孤岛应进行有效连接，形成业务关联。7技术评价对设备远程运维系统中多源数据融合的技术科学性、可操作性进行评价，包括数据规范化程度、数据采集方式多样性、数据处理能力、数据调度和交换的性能等。DB23/XXXXXXXXX4AA附录A（资料性）设备远程运维系统多源数据融合流程设备远程运维系统多源数据融合流程示意图，见图A.1。图 A.1远程运维系统多源数据融合流程示意图_数据正常是是是数据规则统一数据扩展规则多元数据标准化命名规则数据规则合规采集配置管理离线采集实时采集数据处理数据统一调度数据交换共享数据异常处理否否否