基于微服务理念校园一体化信息平台的建设.pdf
《基于微服务理念校园一体化信息平台的建设.pdf》由会员分享,可在线阅读,更多相关《基于微服务理念校园一体化信息平台的建设.pdf(5页珍藏版)》请在咨信网上搜索。
1、校园信息化系统通常由多个子系统构成,由于各子系统建设厂商、使用技术不同,彼此之间保持独立,致使出现了信息化数据不统一、数据杂乱等问题。重构统一的信息化平台可以有效解决上述问题,但建设成本过高。笔者基于微服务理念,提出使用 ELK 体系构建服务平台方案,打破当前各个信息化系统之间的壁垒,达到类似重构信息一体化平台的效果。方案由数据提取、数据清洗过滤和数据加工展示三部分组成,每个部分由若干可独立部署的开源或自研微服务组件构成,结合业务需求对微服务进行配置,最终完成一体化信息平台的建设。某高校实践应用表明,该方案具有见效快、建设成本低、部署灵活等特点,可以成为建设一体化信息平台的可选方案。关键词:信
2、息化;微服务;数据提取;数据清洗;ELK中图分类号:TP311.1文献标志码:A0引言信息化校园建设最早始于美国。1990 年美国克莱蒙特大学教授 Kenneth 首次提出“数字校园”概念,并主持开展了“数字校园计划”项目,此后校园信息化蓬勃发展。1我国于 20 世纪 90 年代初开始对高校信息化建设进行研究并逐渐应用,受限于当时的资金投入、技术手段以及建设思路,大多数院校的信息化建设都是分批次由不同厂商承建完成的。这样建设完成的系统虽然满足了当时的需求,但也存在着先天性的不足:各自为政,硬件资源不能有效利用;没有统一接口标准,沟通不易;基础信息多处存放,当信息不同步时无法及时发现;统计分析数
3、据存于各个系统中,不便查看;数据无法进行横向对比,不利于智能决策。随着大数据时代的到来,数据挖掘、智能决策等需求越来越强烈,满足这些需求最有效的方式是打破信息壁垒,构建校园一体化信息平台。常规方法有两种,一是推翻已有的信息化系统,按照新的标准统一建设;二是校方约谈所有的信息化系统服务商,牵头制定统一信息化接口。方法一效果最好,但需要花费大量的人力、物力、财力以及时间,得不偿失;方法二也能达到既定效果,但是其协调难度非常大,不易实现。本文基于微服务理念提出的解决方案,可以成为构建校园一体化信息平台众多方案中的一种选择。该方案将所需开源软件进行配置并打包成微服务,部署后,微服务之间通过标准协议进行
4、协同工作,最终完成一体化信息平台的呈现。1方案设计微服务是一种软件开发技术,是面向服务的体系结构(SOA)架构样式的一种变体,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值,构成应用的各个微服务可以自行研发,也可以使用成熟的开源软件2。传统的信息化软件无论业务逻辑多么复杂,在建设完成后,必然存在两种输出,一种是日志;另一种是数据库文件。这两种结果可以成为一体化信息平台的输入,然后经过清洗、过滤、计算和汇总等操作,最终根据需求以图形化方式展现出来。3该过程如图 1 所示。如果用于提供基础数据的信息化软件数量较多,且提供的数据量大,上述方案(方案 1)可能会
5、出现数据堆积、数据丢失等问题,这时可以使用Redis、Kafaka 或 RocketMq 等软件暂存原始数据,第 25 卷第 2 期河 北 软 件 职 业 技 术 学 院 学 报灾燥造援25晕燥援2圆园23 年 6 月允燥怎则灶葬造 燥枣 匀藻遭藻蚤 杂燥枣贼憎葬则藻 陨灶泽贼蚤贼怎贼藻Jun援圆园23河 北 软 件 职 业 技 术 学 院 学 报第 25 卷图 2数据处理过程方案 2以上两个方案充分利用开源免费软件进行微服务搭建,一个成熟的团队可以在 3耀6 个月内按照该方案完成个性化的平台搭建,为建设方有效节省成本。2方案实现基于微服务理念搭建一体化信息平台,可根据处理过程依次搭建。2.1
6、构建数据收集微服务Filebeat 是用于转发和集中日志数据的轻量级传送工具,它可监视指定的日志文件或位置,收集日志事件,并将其转发到 Elasticsearch、Logstash 或 Redis 等进行索引。其工作流程如图 3所示。Filebeat 在收集文件过程中通过配置采集规则可简单地过滤文件,以减少采集量。5基础信息化应用的有效输出更多地是存储在各种类型数据库中,例如 MySql、SqlServer 等,本方案使用基于 JAVA 自研的微服务软件 DBCollect进行数据采集6。DBCollect 软件根据配置文件从主流的数据库中提取指定数据,以 JSON 格式输出到指定文件,然后由
7、 FileBeat 进行采集,进而输出到 Logstash 或缓冲区软件中。7DBCollect 的主要配置参数如表 1 所示。通过部署 Filebeat 和 DBCollect 两个微服务,可将最原始的数据经过简单的过滤后向下一个模块传递。2.2构建数据处理微服务Logstash 是一款开源的,负责服务器端数据处理的软件。它具备实时数据传输能力,可以将数据信息从管道的输入端传输到管道的输出端,与此图 1数据处理过程方案 1然后根据配置策略有序下发,该处理过程如图 2 所示4。图 3Filebeat 工作流程8第 2 期同时,这根管道可以根据需求在中间加上各类过滤网以满足各种应用场景。Logs
8、tash 的基本工作流程如图 4 所示。图 4 的工作流程表明,Logstash 的主要工作由输入、过滤和输出三个插件完成。其中,输入插件(Inputplugin)负责从数据源接收数据,数据源可以配置成文件系统、Filebeat 或 Redis 等;过滤插件(Filterplugin)负责对数据进行处理,目前支持 40多种过滤器,常用的过滤器及其用途如表 2 所示。通过配置过滤插件并按需求书写相应的过滤和转换规则,Logstash 获得了非常强大的数据处理能力。10输出插件(Output plugin)指定了输出位置,通常配置为 Elasticsearch。2.3构建数据索引存储微服务Elas
9、ticsearch 是一个建在 Lucene 之上的分布式、高扩展、高实时的搜索与数据分析引擎,提供基于 RESTful 风格的访问接口,可方便地与其他语言进行对接8。Elasticsearch 的核心工作流程如图 5 所示。图 5 中,虚线箭头部分描述的是数据存贮和建立索引的流程,实线箭头(17)表示查询的主要过程,涉及的主要模块及其说明如下:(1)analysis 模块,负责词法分析及语言处理,也就是分词,通过该模块可最终形成存储或者搜索的最小单元;(2)index 模块,负责索引的创建工作;(3)store 模块,负责索引的读写,其目的是抽象出和平台文件系统无关的存储;(4)queryP
10、arser 模块,负责语法分析,把查询语句生成底层可以识别的条件;(5)search 模块,负责对索引的搜索工作;(6)similarity 模块,负责相关性打分和排序的实现。通过 Elasticsearch,建立起强大的搜索与数据分析引擎,使用其提供的接口,结合业务需求可以获取任何能够得到的数据,进而完成数据展示。2.4构建数据可视化微服务数据可视化是构建一体化信息平台的最后一步,经过前三个过程的处理,隶属于各个基础信息化软件的数据已经打破了信息壁垒,集中到了 E原lasticsearch 中,此时可根据不同的业务需求进行数据可视化展示。如果业务需求并不复杂,可使用开源软件Kibana 完成
11、数据展示。Kibana 是一种数据可视化和挖掘工具,可以与 Elasticsearch 紧密集成,提供例如直方图、线形图、饼图、热图和内置的地理空表 1DBCollect 参数列表编号参数名称参数含义1DbType数据库类型、例如 MySQL2DbUrl数据库连接路径,遵循标准 JDBC 标准3DBUser数据库用户名4DBPass数据库密码5DBDriver数据库驱动6Query0数据提取语句列表,符合 SQL 标准;在SQL 语句中可出现系统识别的变量,例如:nowTime代表当前时间,由于业务系统千差万别,因此某些变量需要定制Queryn图 4Logstash 工作流程表 2Filebe
12、at 常用过滤器编号插件名称用途说明1grok通过正则表达式将非结构化日志数据解析为结构化和可查询的数据的插件;2mutate可以将字段执行常规变化,包括重命名、删除、替换、修改事件中的字段和类型转换等命令;3date日期过滤器用于解析字段中的日期;4kvkv 插件专用于对键值数据进行解析,如foo=bar图 5Elasticsearch 核心工作流程王春波,文雪巍:基于微服务理念校园一体化信息平台的建设9河 北 软 件 职 业 技 术 学 院 学 报第 25 卷(下转第 19 页)间支持,方便进行数据展示。如果业务逻辑复杂,则可以进行定制研发,由于 Elasticsearch 提供基于 RE
13、STful 风格的标准接口,可使用团队熟悉的语言进行可视化平台搭建。2.5微服务容器化Docker 是一个开源的应用容器引擎,使用其命令行工具可将配置好的微服务及其依赖打包到一个轻量级、可移植的容器中,即微服务容器化。3Docker 易于发布、使用和管理的特点可降低一体化信息平台的运维成本。3方案应用某高职院校先后建设了教务、人力资源、图书馆管理以及后勤管理等信息化系统。由于各个系统的独立性,校方在获取数据时需要分别登录各个系统,通过 Excel 导出等传统手段将数据汇总起来进行分析。整个过程,人工参与度非常高,效率较低,也极易出错。基于此,校方考虑建设一体化信息平台用以解决信息化壁垒问题。建
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 微服 理念 校园 一体化 信息 平台 建设
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。