物联网密集计算框架系统研究与实践_赵建军.pdf

引言物联网是将网络通信技术和传感技术相结合，实现物与物、物与人的泛在连接，提供信息传输、信息共享、信息识别、信息处理等服务的基础设施。随着社会的不断发展，目前物联网已经成为我国基础设施的重要组成部分，其连接数也远远超越了人联网的连接数。传统的移动物联网终端接入的用户数有限，应对用户的话单处理系统架构单一，承载能力有限，传统的计费系统架构模式已经无法满足数亿级用户数据接入需求。如何让海量物联网用户能够进行实时计费，亟需研讨出一种满足高可靠、高安全、低时延的计费处理框架。1 密集计算框架理论探讨密集计算是分布式环境下复杂计算型任务的批处理框架，其实现思路是将复杂任务切片分布到多个节点执行，并充分利用本地计算资源，减少跨网络数据访问的开销，从而可以完成海量计算任务的密集处理。其架构功能包括调度中心、配置中心和任务处理中心。密集计算框架同时具有节点平衡分布性，能够根据资料或资源的变化情况，将计算任务均衡地在各个节点间迁移。支持节点扩展和容灾处理。可应用于海量用户数据计费、批价和帐务等计算任务。密集计算框架总体架构方案如图1所示。1.1 密集计算总体架构方案研究物联网密集计算框架技术架构是中国电信智慧运营 BSS技术架构的一个研究创新，采用“平台+应用”的模式，基于通用的分布式技术平台，按业务聚合特征构建业务能力中心。可实现包含分布式计费涉及的能力主要包括：（1）采预能力中心，包括离线采集、消息接入、分拣过滤、信息增强、拣重、数据分发等能力；（2）批价能力中心，包括批价、合帐、周期费、帐务优惠、计费回退、下帐等能力，自上而下具体包括 SaaS 层、PaaS 层和 IaaS 层。（1）SaaS 层采集节点：负责用户资料路由分区更新加载和话单处理分发，分发时参考路由，实现数据路由功能。计费节点：负责计费批价、档案加载更新和资料分组迁入迁出。（2）PaaS 层支撑层：为采预、计费业务应用提供相应基础支撑能力，包括档案分组、资源管理等能力。组件层：整合分布式文件系统、分布式消息、分布式缓存、分布式数据库 4 个组件，为高效构建分布式密集计算框架应用提供厚实的基础组件能力平台。（3）IaaS 层通过将存储资源、主机资源云化，提供了丰富和易扩展的资源池，为数据提供底层存储、处理能力。1.2 密集计算服务框架设计密集计算是分布式环境下复杂计算型任务的批处理框架，充分利用本地节点机器的计算资源，减少跨网络数据访问的开销，完成海量计算任务的密集处理。在应用实现功能上包括物联网密集计算框架系统研究与实践赵建军 陈 杨天翼物联科技有限公司摘要：面向物联网海量应用数据，传统的计费方法已经无法满足对大量用户的海量话单进行实时/准实时处理，使用均衡的处理框架处理数亿用户的话单是一种可行的方法。密集计算框架就是将大量用户资料数据按照一定的均衡分布规则将数亿用户分布在多个应用节点，从而实现用户的均衡分布以及用户话单的实时/准实时处理。本研究提出的框架解决了运营商物联网密集计算类场景（如计费、佣金）的高性能分布式计算、故障自动接管与弹性伸缩、个性化支持、应用开放合作、实时/准实时计费等关键问题。关键词：实时计费；密集计算框架；物联网平台；话单722023.02物联网调度中心、配置中心和任务处理中心。同时具有节点再平衡性，能够根据用户资料的数量或资源变化情况，将计算任务在节点间迁移，支持节点扩展和容灾。密集计算服务框架方案如图 2 所示。主要用到文件存储、消息服务中间件、缓存、数据库等组件服务；片区调度、负载均衡、节点监控、分片迁移等调度服务；资料预处理、资料迁移、资料更新等配置服务；以及数据交互、分组路由、版本提交等协议服务。图 1 密集计算框架总体架构方案图 2 密集计算服务框架方案2 基于密集计算框架的系统实践基于密集计算框架理论基础，对文件存储、结构化数据存储、采预节点、计费节点、缓存服务及配置进行关联定义，形成一套用户资料/话单的分区分发逻辑。2.1 密集计算框架分组实践（1）分区逻辑：由配置中心根据业务关联性，将所有用户分成不同组，再按照均衡算法生成独立片区，生产时由分发节点根据分区路由规则将资料、话单发送到相应计费节点上进行处理，由于各片区间独立互不影响，各个节点可以在732023.02物联网自己负荷能力范围内充分发挥性能优势处理资料、话单。水平扩展：在业务量逐步增长的情况下，需要接入新服务器资源时，配置中心将根据负载均衡算法，将合适数量的分组/片区从相对重负荷的节点迁移到新节点上，从而达到优化整个系统负载能力的目标。（2）静/动态分组：合适数量的分组/片区从相对重负荷的节点迁移到新节点上，从而达到优化整个系统负载能力的目标。静态分组流程：是指上游环境（CRM）在不存在新订单事件的资料数据环境下，依据当下时刻最新的计费对象状态、资料、计费规则，对所有需计费对象做一次性的分组分区批处理过程，计费系统的首次分组分区处理，或者以某一计费周期为起点重新做分组分区处理，都是按此方式来生成初始的分布配置数据，这样可以实现一定程度上最均衡的资料分片平均加载。静态分组流程如图 3 所示。图 3 静态分组流程动态分组流程：系统在正常生产状态下（上游 CRM 一直有资料送入），根据存量的应用资料数据已经生成了一份存量的分组分区状态数据，需要根据新资料的变更内容，生成输出相对于存量状态数据的增量变化数据。相对于现有的存量数据，动态分组分区根据新增订单事件生成的应用资料变化数据进行处理，每次的增量变化数据又与前面的存量数据叠加在一起，形成新的存量状态数据。动态分组流程如图4所示。2.2 基于密集计算框架实时/实时准计费实践基于密集计算框架，计费原始话单数据经过从源端网元CG 采集、采预信息资料增强预处理后，根据前期已经分配好的分区分组资源，将对应用户的话单分配至对应计费片区，由对应片区的程序计费批价进程根据相关定价配置，进行实时费用计算，并输出费用清单与使用量清单。后续应用进程根据费用清单，使用余额管理功能，进行实时费用扣款；进行实时账务处理并触发信控与提醒，实现实时/准实时的计费能力；批价后话单和账单入库后，可以经客户查询能力中心对外提供接口查询能力。基于密集计算框架计费业务实现流程如图 5 所示。2.3 基于密集计算框架的计费应用案例介绍基于密集计算框架的物联网计费应用是中国电信智慧运营 BSS 技术架构的一个具体实现。2020 年中国电信率先采用“平台+应用”的模式，基于通用的分布式技术平台，按业务聚合特征构建业务能力中心，构建了高可用分布式采预、批价、账务中心并已经应用于生产环境。可以解决传统计费应用负荷高，无法实现实时/准实时计费能力，话单批价面临网络资源占用较高的问题。742023.02物联网通过部署分布式文件系统、分布式缓存、分布式消息队列、分布式数据库等组件，可以实现物联网亿级多用户的实时/准实时计费，且机器支持横向扩容，可灵活支撑海量计费用户业务发展。密集计算框架计费应用采用集群组网部署，组成分布式集群，可以提供高性能、高可用、可灵活扩展的平台能力。密集计算框架集群组网架构如图 6 所示。实践过程中，可以灵活将计费数据分配到参与人中心、实例中心、订单中心、资源中心、配置中心和历史数据中心，每个中心根据数据量和分片数据的特征，利用特定的分片算法合理地将数据平均分配到各个分片中。图 7 所示为密集计算图 4 动态分组流程图 5 基于密集计算框架计费业务实现752023.02物联网计费应用各中心分片数测试，可以满足海量计费数据高性能处理要求。3 结束语随着 5G、物联网的大力发展，系统接入终端、用户话单的急剧增长，传统的计费应用已经无法实现实时/准实时的计费能力，且传统的话单批价方式一方面对网络资源占用较高，另一方面对机器功耗大，无论是成本开销还是客户感知都不友好。本研究提出了一种基于密集计算框架的物联网计费应用架构方法，通过分布式文件系统、分布式缓存、分布式消息队列、分布式数据库等组件，结合高可用分布式计费应用架构，实现物联网亿级别用户的实时/准实时计费，且系统支持横向扩容，该计费系统已经应用于生产环境，满足海量计费数据高性能处理要求。作者简介：赵建军（1974），男，江苏泰兴人，高级工程师，硕士，研究方向：5G、移动通信、物联网技术等。（收稿日期：2023-02-08；责任编辑：赵明亮）图 6 密集计算框架计费应用集群组网架构图 7 密集计算计费应用各中心分片数测试