物联网时代下AIoT数据库的边云协同技术(2023).pdf

物联网时代下物联网时代下AIoTAIoT数据库的边云协同技术数据库的边云协同技术Dustin JiangKaiwuDB 首席架构师首席架构师目录目录CONTENTS01物联网应用物联网应用 vs 云边端云边端 4-tier 架构体系架构体系02物联网中的数据库系统物联网中的数据库系统03AIoT 数据库中的边云协同技术数据库中的边云协同技术04边云协同技术在边云协同技术在KaiwuDB-AIoT 数据库中的运用数据库中的运用物联网物联网应用应用vs 云边端云边端 4-tier 架构体系架构体系01物联网应用的挑战物联网应用的挑战IoT 设备数量众多，物理地域上分布广泛物联网产生的数据量大且连续不间断物联网应用在不同层面有着典型不同的需求 大量的元数据，设备属性数据 时序流数据 设备端需要低延迟的实时控制处理等 跨设备的分析、预测等需要大量的原始数据和大量的计算资源典型的物联网应用典型的物联网应用感知层感知层设备层，数据采集层。智能设备数据的读取。一辆行驶中的 Tesla M3，一个储能箱，一个智能电表等边缘层边缘层提供对感知层数据的清洗、存储、管理和对智能设备的实时监控、告警等操作。云平台层云平台层对边缘层数据的存储压缩管理，通过对数据进行聚合、分析和挖掘，以获得有价值的信息和洞察力应用层应用层提供实现对整个系统的优化、监控调动和维护管理物联网中的数据库系统物联网中的数据库系统02物联网中的数据物联网中的数据Tag/Attribute 数据 设备本身的信息，比如型号、IP address、物理位置等 设备的连接协议等时序数据 数据流元数据 设备、表的 definition 数据 用户及权限相关的信息 系统配置管理的信息Terminal:端侧（感知层）数据的高速入库，热数据的查询、订阅与发布。Edge:边侧（边缘层）Edge 端的简单数据分析和查询、数据流的计算、数据的订阅与发布等。Cloud:云侧（云平台层）对边缘层数据的存储压缩管理，通过对数据进行聚合、分析、挖掘和 deep learning 以获得有价值的信息和洞察力In-Memory DB/CacheLight-weight DBDistributed DBClusterTerminalEdgeCloudDB1DB2DB3物联网中的数据库物联网中的数据库利用多个异构数据库系统来满足 AIoT 应用在不同层次应用的需求的挑战：不同的数据模型 难于解决 Data inconsistency 带来的问题 Performance issues 安全性难以保证 应用开发难度大、互操作性差、可迁移性差 管理和运维难度高、成本高异构数据库系统的挑战异构数据库系统的挑战TerminalEdgeCloudDB SystemsApplicationsApplication Business LogicsCloudEdge CollaborationAIoT 数据库中的边云协同技术数据库中的边云协同技术03AIoT 数据库提供对应用层逻辑上统一的single-image 数据库系统 多模架构支持 跨云边端的封装AIoT 数据库系统协同云边端存储、管理和使用整个系统的资源、数据、计算和服务云边端协同的云边端协同的 AIoT 数据库数据库TerminalEdgeCloudApplication Business LogicsCloudEdge CollaborationSingle-Image Database SystemCloud ComputingCloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Edge Primary NodeMetaDataUserData元数据协同Edge Secondary NodeMetaDataUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Single Database ImageEdge Computing元数据协同元数据协同云边端协同存储、管理和使用整个数据库系统的元数据对应用提供逻辑统一的数据库系统统一的用户及权限统一的连接管理统一的数据库对象创建、删除、提供对表，设备等透明存取Cloud 端提供元数据的全量共享。通过分布式、多副本提供元数据的高可靠性和高可用性。Edge 端提供local元数据的存储和管理。Edge端通常通过全局唯一的 name space 来保证本地元数据的快速创建、删除、和更新。Cloud端和 Edge 端通过协作完成元数据的同步以及在 Edge 故障的情况下从 Cloud 端恢复元数据的能力。Terminal 端提供 Edge 端元数据的实时同步cache。元数据协同元数据协同Cloud ComputingCloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Cloud NodeMetaDataUserData元数据协同Edge Primary NodeMetaDataUserData元数据协同Edge Secondary NodeMetaDataUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Terminal NodeMetaDataCacheIn-MemoryUserData元数据协同Single Database ImageEdge Computing云边端协同存储、管理和使用整个数据库系统的用户数据。对应用提供逻辑上统一的，透明的全量用户数据存取存取 location 的透明云边端架构的透明Terminal,Edge,Cloud端有不同 storagelimit，不同的计算能力，不同的数据相应需求。用户数据协同用户数据协同Cloud ComputingCloud NodeMetaDataUserData用户数据协同Cloud NodeMetaDataUserData用户数据协同Cloud NodeMetaDataUserData用户数据协同Cloud NodeMetaDataUserData用户数据协同Edge Primary NodeMetaDataUserData用户数据协同Edge Secondary NodeMetaDataUserData用户数据协同Terminal NodeMetaDataCacheIn-MemoryUserData用户数据协同Terminal NodeMetaDataCacheIn-MemoryUserData用户数据协同Terminal NodeMetaDataCacheIn-MemoryUserData用户数据协同Single Database ImageEdge Computing用户数据协同用户数据协同Terminal 端通过 In-memory store 对 hot 数据的进行高速存取以满足设备端对高采样频率和实时性的需求。通过 batch 处理高速同步到 Edge 端。Edge 端提供 local 数据的清洗、压缩、存储和管理。并用批处理的方式将数据（或降采样）压缩后异步复制的 Cloud 端。Cloud 端提供用户数据的全量共享。通过分布式、多副本提供数据的高可靠性和高可用性。通过机器学习对模型进行训练，并将训练好的模型提供给Edge，terminal 端使用。Single Database ImageCloud ComputingUserDataUserDataUserDataUserDataEdge Primary NodeUserDataEdge Secondary NodeUserDataTerminal NodeIn-MemoryDataEdge ComputingCold DataWarm DataHot DataTerminal NodeIn-MemoryDataTerminal NodeIn-MemoryDataTerminal 端通过 active-time 把最新的数据保留在内存 engine 中。Edge 端有比较大的 storage，结合快速数据压缩技术可以有一个相对大的数据生命周期来满足 Edge端大部分的数据需求。Cloud 端的存储和计算资源都比较丰富，可以通过数据的冷热分层支持长久的 data life management.数据在 Terminal,Edge,Cloud 端都有不同程度的Redundancy.对 应 用 层 提 供 一 个 逻 辑 上 统 一 的data lifemanagement.通过 machine learning 和云边端协作来 maximize 应用在 terminal 端对 hot 数据的access。数据生命管理协同数据生命管理协同Single Database ImageCloud ComputingUserDataUserDataUserDataUserDataEdge Primary NodeUserDataEdge Secondary NodeUserDataTerminal NodeIn-MemoryDataEdge ComputingCold DataWarm DataHot DataTerminal NodeIn-MemoryDataTerminal NodeIn-MemoryData整个数据库系统对应用层提供统一的，透明的计算服务。地理位置的透明服务，统一的请求，API 可以通过任何节点来满足。自适应自适应计算技术计算技术:当应用计算所需要的数据和资源在请求节点不能完全满足时，请求节点起到一个 coordinator 的作用，根据数据和资源的分布将请求 route 最能满足需求的节点上将请求分解并 distribute 到相应的节点计算，然后将结果发回 coordinator 节点聚合处理完成后，返回应用。计算协同计算协同Cloud ComputingCloud NodeMetaDataUserData用户协同计算Cloud NodeMetaDataUserData用户协同计算Cloud NodeMetaDataUserData用户协同计算Cloud NodeMetaDataUserData用户协同计算Edge Primary NodeMetaDataUserData用户协同计算Edge Secondary NodeMetaDataUserData用户协同计算Terminal NodeMetaDataCacheIn-MemoryUserData用户协同计算Terminal NodeMetaDataCacheIn-MemoryUserData用户协同计算Terminal NodeMetaDataCacheIn-MemoryUserData用户协同计算Single Database ImageEdge Computing数据在云边端有不同的高可用策略Terminal 端 minimize 高可用策略 同步 vs 异步 In-memory vs PersistencyEdge 端通过主备提供一定维度的高可用。云端通过内置多副本，online/offline backup/restore 最大限度的保证系统的高可用性。数据服务在云端边都有一部分 overlap。云端边任何一侧短暂的故障，升级都可以通过边云协同技术来避免服务中断。高可用性协同高可用性协同Single Database ImageCloud ComputingUserDataUserDataUserDataUserDataEdge Primary NodeUserDataEdge Secondary NodeUserDataTerminal NodeIn-MemoryDataEdge ComputingCold DataWarm DataHot DataTerminal NodeIn-MemoryDataTerminal NodeIn-MemoryData边云协同技术边云协同技术在在KaiwuDB-AIoT 数据库中的运用数据库中的运用04KaiwuDB-开物成务开物成务KaiwuDB 是浪潮集团控股的数据库企业，公司汇聚了全球顶尖的数据库人才，以 AIoT 数据库为核心产品，面向行业领域，提供领先创新的数据服务软件。KaiwuDB 具有分布式计算、多模数据库架构、实时就地运算等核心技术；产品体系囊括自主研发 AIoT 数据库及数据服务平台等，可一站式满足 AIoT 场景下数据管理需求及关键行业核心系统的自主可控及安全需求。当前，KaiwuDB 在工业物联网、交通车联网、数字能源、智慧园区、数字政务、金融等均已成功完成落地实践；未来，将能够为包括工业物联网、数字能源、交通车联网、智慧产业等各大行业领域提供数字化赋能，助力企业从数据中挖掘更大的商业价值。KaiwuDB IntroductionKaiwuDB:an AIoT Database System定制化的，自适应主动式，高性能数据管理与服务多模分布式跨云、边、端协作KaiwuDB SDK/Driver/Client/APIsKaiwuDB通过定制化的接口为数字能源管理系统提供 设备、采集点的注册、管理以及元数据（Metadata)的管理 采集点产生的时序数据的储存、查询和管理 数据流的订阅和发布 能源路由器/微电网控制器的管理 垮设备、垮能源路由器和垮用户的元数据和时序数据的查询、分析 基于机器学习的模型训练、管理和使用KaiwuDB采集点管理设备管理门户管理租户管理时序数据储存时序数据查询垮门户租户的分析基于ML的预测，分析物联网设备管理、数据采集物联网Edge-Computing物联网Cloud ComputingKaiwuDB系统管理RelationalTime-SeriesMachineLearningKaiwuDB IntroductionKaiwuDB 架构架构Cloud ComputingCloud NodeMetaDataUserData边云协同Cloud NodeMetaDataUserData边云协同Cloud NodeMetaDataUserData边云协同Cloud NodeMetaDataUserData边云协同Edge Primary NodeMetaDataUserData云边端协同Edge Secondary NodeMetaDataUserData云边端协同Terminal NodeMetaDataCacheIn-MemoryUserData端边协同Terminal NodeMetaDataCacheIn-MemoryUserData端边协同Terminal NodeMetaDataCacheIn-MemoryUserData端边协同Single Database ImageEdge Computing多模融合多模融合多模融合多模融合多模融合多模融合多模融合多模融合多模融合KaiwuDB 节点节点KaiwuDB实现整个数据系统的基础设施管理和提供通用关系型模型计算 用户管理 连接认证管理 所有系统对象的管理：device,portal时序数据引擎提供 时序数据的存储和管理 时序数据的查询、分析 时序数据的订阅、发布、流计算机器学习引擎提高 模型的训练 模型的存储与管理KaiwuDB 节点Relational通用计算引擎KaiwuDBIn-MemoryTime-Series时序计算引擎KaiwuDB时序引擎Time-Series模型存储与管理机器学习引擎模型训练KaiwuDB 组成和架构组成和架构KaiwuDB机器学习引擎KaiwuDB Edge/TerminalKaiwuDB Edge&Terminal 端一个 KaiwuDB 节点可选一个到多个 KaiwuDB terminal 节点 Terminal 节点与 KaiwuDB 节点共享存储引擎 提供数据入库和定制化查询功能 提供订阅发布功能 不提供通用查询分析功能KaiwuDB 节点Relational通用计算引擎KaiwuDBTime-Series时序计算引擎In-MemoryTime-SeriesIn-MemoryTime-Series时序计算引擎时序计算引擎In-MemoryTime-Series时序计算引擎时序计算引擎KaiwuDB时序引擎KaiwuDB时序引擎KaiwuDB时序引擎KaiwuDB:面向应用面向应用KaiwuDB(For applications)Data management,serviceCloudless,serverlessAIoT Database SystemCustomized,AdaptiveActive,High-performanceModellessfor AIoT applicationsKaiwuDB:特点特点对行业应用提供定制化的高性能接口与服务提供云端边的透明数据存取、分析、管理服务 数据地理位置的透明(Cloudless,regionless,serverless)数据模型的透明(modeless)提供 KaiwuDB 系统自身的自治管理特点简化应用逻辑提升应用性能增加应用的可扩展性提供应用业务的连续性，高可用性加速应用的开发与部署增强整个系统的安全性优优点在设计上，KaiwuDB 针对工业物联网、数字能源等场景进行了优化，提供数据管理基础设施服务，打造一站式高速数据集成构建的工业实时分析解决方案，将数据沉淀为数据资产，为用户提供更加优质的服务。KaiwuDB Applications工业物联工业物联制造业 IO 数据管理智慧工厂数据管理分布式物联网设备管理数控设备状态监控数字能源数字能源产能端数字化管理能耗端数字化管理充/换电站智能管理储能监控/电池银行智慧产业智慧产业智慧园区智慧矿山智慧水务智慧环保车联网数据管理人车路协同管理车联网智能驾驶智能汽车综合管理车联网车联网