基于云平台的PaaS组件监控系统设计.pdf
《基于云平台的PaaS组件监控系统设计.pdf》由会员分享,可在线阅读,更多相关《基于云平台的PaaS组件监控系统设计.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 17 期2023 年 9 月无线互联科技Wireless Internet TechnologyNo.17September,2023作者简介:陶小俊(1982),男,安徽当涂人,工程师,硕士;研究方向:云计算。通信作者:邵梅(1988),女,安徽怀远人,高级工程师,硕士;研究方向:云计算。基于云平台的 PaaS 组件监控系统设计陶小俊1,邵 梅2,胡林森1(1.中国电信股份有限公司安徽分公司,安徽 合肥 230000;2.中国电信股份有限公司蚌埠分公司,安徽 蚌埠 233000)摘要:随着云计算的广泛应用,越来越多的企业选择在云平台上部署其业务系统。通常,云服务商提供公有云平台,专门满足
2、中小型企业的上云需求。这些企业会在购买的云主机上部署 MySQL、Redis、Tomcat 等组件,以构建其业务系统。由于租户越来越关注业务系统的使用情况,监控系统成为维护业务健康的重要手段之一。文章探讨了建立云平台 PaaS 组件监控系统时面临的挑战,提出了云平台PaaS 组件监控系统的设计思路和方案,并最终利用开源工具 Prometheus 和 Grafana 实现了可视化云平台 PaaS 组件监控系统。关键词:云平台;PaaS;监控系统中图分类号:TP311 文献标志码:A0 引言 在数字经济高速发展的时代背景下,企业上云是大势所趋,随着云上业务需求的迅猛增长,云资源池的规模与数量也与日
3、俱增,公有云、私有云和混合云等云平台架构应运而生,赋能千行百业上云用数,但随之也出现云资源池分散、异构、无法统一监控的行业难题。面对复杂多样的云平台及业务系统,监控如运维之眼般必不可少。缺乏智能有效的监控手段便难以掌握 IaaS、PaaS、SaaS 各层情况和各系统的运营状况。故障发生时,仅依赖人工登录各类设备,逐层、逐个排查问题,故障往往难以精准定位,无法敏捷调度快速恢复业务。为保障云上业务稳定运行,迫切需要设计面向云上业务运维的组件级监控系统,帮助企业全面掌握云上资源使用情况、网络连接情况、业务应用运行健康状况等信息。1 云平台 PaaS 组件监控系统面临的挑战 随着企业上云步伐的不断加快
4、,云计算生态圈呈多样化发展,异构云统一监控的难度持续增加,上云企业对业务稳定和运维感知的需求不断增加。传统监控系统只能监测硬件、板卡、网络等,以及端口down、ping 超时、云主机 CPU、云主机内存等基础设施指标,而 IaaS 层的监控无法解决云主机内部业务系统的监控难题。当出现 MySQL、Redis、Tomcat 等组件异常,利用传统的监控系统无法及时感知业务组件劣化态势,因此亟需引入数字化监控手段构建云平台PaaS 层组件级新型监控体系。2 云平台 PaaS 组件监控系统设计分析2.1 监控系统设计分析 基于上述问题,本文通过 Prometheus 与 Grafana 结合设计了 P
5、aaS 组件监控系统,主要包括资产中心与监控中心。资产中心可录入项目、业务、IaaS 资产、PaaS 资产等信息,并进行信息的统一编排管理。监控中心根据资产中心的信息情况进行组件性能的实时监控,可配置组件性能指标告警阈值,当采集性能数据达到告警阈值时触发告警事件,自动推送给运维人员。Prometheus 和 Grafana 监控的实现过程是,将云平台和业务系统中所涉及的租户项目信息、虚拟机资源、业务信息等纳入统一的运维监控平台,并通过解析云平台异构软件,进行定制化实施数据采集手段,对各种不同的数据来源实现统一管理、统一规范、统一处理、统一展现,最终实现运维规范化、自动化、数字化的运维管理。根据
6、以上原理,PaaS 组件监控的实现架构设计分为两大模块,分别是数据收集提取模块和监控告警模块。从下到上可具体分为 6 层,分别是数据收集层、数据提取层、数据展示层、告警规则配置层、告警事件发生层、用户显示层1。2.1.1 数据收集层 数据收集层主要收集主机数据、操作系统数据、87第 17 期2023 年 9 月无线互联科技软件开发No.17September,2023数据库、中间件数据等,再将收集的数据进行规范化,并进行存储。根 据 实 际 业 务 及 资 源 情 况 需 求,搭 建 好 Prometheus 集群,把集群作为服务端。在主机内安装 exporter 和 cadvisor,实现对
7、主机及容器性能数据的获取。通过 exporter 采集不同维度的监控指标,并通过Prometheus 支持的数据格式暴露出来,Prometheus 定期 pull 数据并用 Grafana 展示。通过 Prometheus-node-exporter 采集主机的性能指标数据,并通过暴露的 metrics 接口用 Prometheus 抓取。2.1.2 数据提取层 数据提取层主要是通过部署时编写好的 yaml 文件内的告警规则语言,将数据收集层获取的数据进行规格化和过滤处理,通过 PrometheusAPI 提取需要的数据到监控告警模块,Prometheus 把收集的数据通过exporter 保
8、存统一格式的数据存储到 Prometheus 自带的时序数据库,用于 Grafana 调用。2.1.3 数据展示层 数据展示层是一个 Web 展示界面,主要是将数据收集层获取的数据进行统一展示,展示的方式可以是曲线图、柱状图、饼状态等,通过将数据图形化,可以帮助运维人员了解一段时间内主机或网络的运行状态和运行趋势,并作为运维人员排查问题或解决问题的依据。实现数据展示层主要通过 Grafana 工具。2.1.4 告警规则配置层 告警规则配置层主要是根据第三层获取的数据进行告警规则设置、告警阈值设置、告警联系人设置和告警方式设置等。该功能主要通过 Grafana 进行配置。2.1.5 告警事件发生
9、层 告警事件发生层主要是将告警事件进行实时记录以及用户通知。2.1.6 用户显示层 用户显示层是一个 Web 展示界面,主要是将监控统计结果、告警故障结果进行统一展示。2.2 Prometheus 介绍 Prometheus 是一种开源的系统监视和警报工具,基本原理是通过 HTTP 协议周期性抓取被监控组件的状态,任意组件只要提供对应的 HTTP 接口并且符合 Prometheus 定 义 的 数 据 格 式,就 可 以 接 入Prometheus 监控,不需要任何 SDK 或者其他的集成过程2。2.2.1 Prometheus 的特点 Prometheus 的主要特点有:(1)多维度数据模型
10、。(2)灵活的查询语言。(3)可以直接在本地部署,不依赖其他分布式存储。(4)通过基于 HTTP 的 pull 方式采 集 时 序 数 据。(5)可 以 通 过 中 间 网 关pushgateway 的 方 式 把 时 间 序 列 数 据 推 送 到Prometheus Server 端。(6)可通过服务发现或者静态配置来发现目标服务对象(targets)。(7)有多种可视化图像界面,如 Grafana 等。Prometheus 和 zabbix 的区别在于:Prometheus 能更好地支持容器,数据存储可以达到每秒千万级别的数据存储,同时可以通过对接第三方时序数据库扩展历史数据的存储等。监
11、测对象若是云环境,使用 Prometheus 部署,Prometheus 成为主导及容器监控方面的标配。监控对象若是物理机,可以使用 zabbix 部署,zabbix 在传统监控系统中,尤其是在服务器相关监控方面占据绝对优势。2.2.2 Prometheus 组件介绍 (1)Prometheus Server。Prometheus Server 用于收集和存储时间序列数据。(2)Client Library。客户端库,检测应用程序代码,当 Prometheus 抓取实例的 HTTP 端点时,客户端库会将所有跟踪的 metrics 指标的当前状态发送到Prometheus Server 端。(3
12、)Exporters。Prometheus 支持多种 exporter,通过 exporter 可 以 采 集 metrics 数 据,然 后 发 送 到Prometheus Server 端,所有向 Promtheus Server 提供监控数据的程序都可以被称为 exporter。(4)Alertmanager。从 Prometheus Server 端接收到 alerts 后,会进行去重、分组,并路由到相应的接收方,发出报警,常见的接收方式有电子邮件、微信、钉钉、slack 等。(5)Grafana。监控仪表盘,可视化监控数据。(6)pushgateway。各个目标主机可上报数据到pus
13、hgateway,然 后Prometheus Server统 一 从pushgateway 拉取数据。2.3 Grafana 介绍 Grafana 是一个开源的监控数据分析和可视化套件3,常用于对基础设施和应用数据分析的时间序列数据进行可视化分析,也可以用于其他需要数据可视化分析的领域。Grafana 可以帮助用户查询、可视化、告警、分析所在意的标和数据。3 云平台 PaaS 组件监控系统设计方案3.1 监控系统架构 云平台 PaaS 组件监控系统主要包括资产中心和监控中心两个模块,两个模块既相互独立,又相互关联。在两个模块的基础概念上设计系统架构,如图 1所示。97第 17 期2023 年
14、9 月无线互联科技软件开发No.17September,2023图 1 监控系统架构通过资产管理中心和监控中心有机组合形成的统一告警能力,可灵活配置添加新的监控告警指标,可实现自动化巡检、健康报告、调用链分析、安全扫描,全面掌握系统健康状况等运维与感知功能。3.2 资产中心 本文采用前后端分离方式在应用集中监控系统中创建资产中心,前端采用 Vue 开发语言编写用于收集页面参数信息,后端采用 Java 开发语言为前端提供数据接口查询系统数据库存储数据,最终将资产以可视化方式呈现在前端页面。资产管理中心可以通过手动录入或者 API 接口调用纳管数据库、负载均衡、应用服务、消息队列、容器等资产基础配
15、置信息,如 CPU 个数、TPS、队列积压、MySQL 等。同时结合监控告警数据及资源运维人员精准派发告警消息。3.2.1 数据库 数据库包括 MySQL、PostgreSQL、Oracle、TeleDB、TelePG、Redis、MongoDB、Elasticsearch 等,主要展示云租户当前部署的数据库组件信息,包括租户名称、业务系统名称、所属主机名称、数据库名称、数据库类型、数据库 IP、数据库端口、告警数以及使用状态。3.2.2 负载均衡 负载均衡包括 Nginx、LVS、ELB 等,主要展示云租户当前部署的负载均衡组件信息,包括租户名称、业务系统名称、所属主机名称、负载均衡名称、负
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 平台 PaaS 组件 监控 系统 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。