OLPS数据采集双通道数据汇聚应用设计与实践.pdf
《OLPS数据采集双通道数据汇聚应用设计与实践.pdf》由会员分享,可在线阅读,更多相关《OLPS数据采集双通道数据汇聚应用设计与实践.pdf(5页珍藏版)》请在咨信网上搜索。
1、OLPS 数据采集双通道数据汇聚应用设计与实践近年来,浙江广联有线电视传输中心持续推进跨业务、跨平台、跨终端的全网智慧“驾驶舱”升级和各类网管系统数据信息化整合项目建设1。在省主干网传输系统领域,主要涉及华为 SDH、华为 OTN、光迅光开关(OLPS)三类网管。省主干网数智化综合运维平台通过数据采集模块对接华为 SDH 和 OTN网管的北向接口,实现了对主干网华为传输设备的数据访问和采集2。为全面收集主干网关键设备的数据,提升故障智能分析与自动化处理能力,浙江广联有线电视传输中心基于网管数据汇聚模块的可扩展设计3将 OLPS 系统数据采集模块接入省主干网数智化综合运维平台。在 OLPS 数据
2、模块接入省主干网数智化综合运维平台过程中,OLPS 北向接口支持告警事件订阅,并在告警事件发生时可通过第三方数据采集接口进行告警信息实时推送。当进行性能数据采集时,由于版关键词数据采集双通道数据汇聚松耦合数据对接容错机制 作者 浙江广联有线电视传输中心施小明浙江广播电视集团史姣姣本限制和数据接口模块升级原因,无法通过 OLPS 北向接口进行性能数据的采集和应用。因此,本文设计了双通道技术实现 OLPS 告警数据和性能数据的采集并汇聚到省主干网数智化综合运维平台4-6,并通过OLPS 告警事件连动、松耦合数据对接、采集模块自动重连机制保障 OLPS 数据采集模块与平台数据汇聚的功能性、易用性和可
3、靠性。一 OLPS 数据采集设计 1.双通道数据采集策略OLPS 服务端支持 OLPS 设备告警数据和性能数据的采集,其中告警数据通过 OLPS 北向服务接口进行设备告警事件订阅后,由 OLPS 服务端在接收到设备告警事件后将告警数据推送至数据采集端;性能数据由采集端通过用户设定的采集周期,定时向 OLPS服务端获取设备当前工作参数。在采集端主线程分别开启告警数据处理子线程和性能数据的周期性采集子线程,以保障告警数据采集的随机性不影响周期性进行性能数据的采集,OLPS 采集端双通道数据采集流程如图 1 所示。OLPS 数据采集端通过主线程获取数据采集端与 OLPS 服务端的会话(Session
4、),OLPS 服务端根据数据采集端发送的认证信息判断是否建立会话。一旦建立会话,意味着 OLPS 数据采集端可实时获取 OLPS 设备告警事件和设备性能数据。在会话建立过程中,认证信息主要包括:命名服务、登录名、密码、连接参数(OTNM2100、EMS、WRI、OLPScapeNI)等。由于告警事件发生的随机性和并发性,为保障告警数据和性能数据采集过程中互不干扰,即避免 OLPS 数据采集端不同类别的数据处理冲突问题,本文设计了双通道数据采集策略,在主线程中分别开启告警数据处理和性能数据处理子线摘要本文基于 RESTful 接口的松耦合数据对接方式和接口数据采集容错机制,设计了 OLPS 性能
5、数据与告警数据双通道数据汇聚方案。该方案为主干网数智化综合运维平台的可视化展示、故障智能分析、抢修流程自动化等功能提供数据支撑,能够持续提高主干传输网在安全播出、应急指挥等方面的综合能力。网络与传输NETWORK&TRANSMIT118态参数。这里的双通道是指:数据采集端通过 OLPS 服务端北向接口和 OLPS 性能数据接口分别获取告警数据和性能数据。考虑到告警数据和性能数据的差异性,OLPS 数据采集端对这两类数据设计不同的获取和处理方式。2.性能数据处理OLPS 数据采集端根据用户设定的性能数据采集周期,通过轮询的方式连接 OLPS 性能数据请求接口。一方面,由于相连多个采集周期的设备性
6、能数据各参数变化曲线的曲率变化小,因此在进行 OLPS 性能数据采集时不使用长连接的方式,即每次采集时建立连接,采集完成后释放连接。另一方面,在进行 OLPS 设备性能数据采集时,数据请求和数据返回存在延时,因此 OLPS数据采集端的数据请求和数据返回处理必须采用不同线程处理,以缩短 OLPS 多节点设备采集周期,提升OLPS 性能数据整体时效。如图 3 所示,本文通过生产者、消费者和队列实现数据采集和处理的同步,以解决数据请求和数据返回的 OLPS 服务端处理延迟、网络传输延迟与 OLPS 数据采集端的多线程共享锁问题。3.告警数据处理OLPS 数据采集端通过 OLPS北向服务接口进行 OL
7、PS 设备告警事件的订阅以获取 OLPS 的事件通道,在 OLPS 数据采集端中开启告警数据接收线程接收 OLPS服务端主动推送的告警数据。当OLPS 设备发生故障或工作参数告警越界时,会即时向 OLPS 服务端报送告警数据。OLPS 服务端根据告警数据和设备登录信息向订阅告警事件的 OLPS 采集端发送告警数据,内容包括:告警 ID、程。由于这两个线程是独立运行的,因此可由 OS 多线程并发策略统一管理。在 OLPS 数据采集端需长期不判断运行,为解决运行过程中数据采集端与服务端的连接中断问题,本文设计由主线程开启 OLPS服务端会话有效性检测子线程用于保障 OLPS 采集端会话或网络短暂失
8、效时的自动重连。如图 2 所示,OLPS 数据采集端通过双通道分别获取 OLPS 设备告警事件的数据和 OLPS 设备工作状OLPS 采集端双通道数据采集流程1OLPS 采集端双通道数据采集和汇聚模块结构图2OLPS采集端主线程通过认证信息获取OLPS服务端sessionOLPS服务端连通性检测开启订阅通道并启动性能数据采集和处理设定延时重新获取OLPS服务端session释放订阅通道和session并停止性能数据采集和处理OLPS告警事件订阅OLPS性能数据采集周期获取OLPS性能数据获取和处理OLPS告警数据处理通过Session检测连通性是否OLPS服务端性能数据OLPS设备工作状态OL
9、PS北向服务接口OLPS性能数据请求接口数据提取和处理OLPS数据采集端数据转发内网服务端数据应用性能数据告警数据Advanced Television Engineering119设备类型、设备名称和位置、发生时间(设备记录)、告警类型、告警等级、告警事件原因、受影响的服务、告警对应的线路段名称、告警标志等。OLPS 设备告警产生和告警消除可通过告警标志进行判断,即告警产生和告警消除是两个独立的告警事件。在数据采集端对 OLPS 服务端推送的告警数据处理采用队列策略,它包含两个层次:一是设备故障联动事件在不同节点产生的告警事件;二是不同设备并行产生的告警事件在采集端需要通过线程按照队列顺序处
10、理。二 采集过程中的松耦合数据对接 为 解 决 OLPS 数 据采集端和内网服务端以及内网服务端和外网服务 端 的 数 据 对 接,如图 4 所示,本方案采用RESTful 接口的松耦合方式实现数据采集模块到内网服务端的数据转发和内网服务端到外网服务端的数据转发。在内网服务端开启 Servlet 服务,并建立内网服务端数据接收模块和 Servelet服务路径的映射关系,这时 OLPS 数据采集端可通过Servelet 服务路径向内网服务端进行 OLPS 性能数据或告警数据的推送服务。OLPS 数据采集端与内网服务端基于 RESTful 接口的松耦合数据对接方式提升了数据发送模块和数据接收模块的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- OLPS 数据 采集 双通道 汇聚 应用 设计 实践
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。