详解华为6G系统的数据治理架构技术.docx

详解华为6G系统的数据治理架构技术导读：今天的数字化社会中，数据非常重要。未来6G系统将会产生、收集和交换大量的数 据。各种运营管理任务，比方配置、性能监控、故障管理，都需要用到这些数据。这些数据 还将作为知识经验与其他系统和业务领域交流，产生更广泛的价值。只有通过这样的交流, 移动通信系统才能帮助垂直行业以及其他行业取得更大开展。
■OOI
0140.
-00
olo'o卡 X-
100
• 2 X •:
o
X
▲ g 乍4 4I 金<<^%，««3£».2 / 一，/ r. n» /»k TPTTj- i: ‘
SA2 “ 9 获：”§*■、
1
李海aO1O10-二
r«- » •• *t« • ” *x. • • •• «• :” '• < • •
< 4 iy ;r •:、 If i !<>•

rtt to • C-ZVKWY a . r
21
«x r—•「*•**\:g3?F・ 二
IK, Rs 14?" V2 "八匕!"594，nDenrsue“♦-«•wvr b, I RMm.-
w fJx m Ad $ •才 a h1a ee h •• gx .彳
n847ie K: w *>c #<A*o.-i.4 &siRa)・r 二 a d•二，“二&二 二二*
-to$o$Lg •Ancffpj—:•••♦ £t•;・ 一£ a-5r7 ;，-<M«-6-«i •&« - - u * •，& •，b».分.7 -11，丁」，4M 写^
4 OOLOk*XO.LOOOLLOLOL
寸二wnjsjaeh KW& 001011010 Jd” “ ♦•r”f#:**• ・ u • 7J :“ ♦•一♦-'，。。9 ■ J 3n gf —，• J，；
••wy w 4^ j ffn 1A--1010^
::7,xdi m •:•
二f二f < "J; ・nL”>“； • J ^二 g、g，40v柒
SN3 IQ bBl
p-r: ; ad ¥ : ♦ErM桁丫，k*，8.
-，$4H .ao: ;4:・ 3 n
-X- A I ••.«.••*・：，^ a ・•50be、x9 才1•••• 6，f状・,①t -・1% ..
l»4i CLrzxF ” ・1d e5 1 b/c.5・5/&oon3,・
$ CM^n1-0 > Kv♦£ *^-£»r'»>rl!xY,卜！」--Musils m殳 g 皆t-*2.・
8: 丫6 :♦ 0 •工•・4; j" d:，r 一r・,・r ;*K,%
Hr I 1JAUr d
OOI。？/。乙
*ol lof — J7
w S>Q w
c£.5:2we
寸$1{— I，0 I /ft —r :• <: “•“：：,:・：・・：. ” r： ;Rtc・a・rr c弋二：L・ ：：B:: .*♦.3u V% I- rf a..*t..\3A4-C ・g 9/，- 0.0，.0,,/ / " /
> 守。；”：，；Hfs?l-WA. 7✓? •• 1 ••*•¥ :r,
6tA
5a:e$一 3“ z 常，X 田：占 “♦ff u* , l:>， .al»,4 ,，尸3,0/9 u X c •古•,■〔△々"4 flrr/llrr
-Xu 4 八 ***^・«紫•Ad-”ER，?* X4«BT— - • • 1，#•1・，iMI*f' e-
' Z7
*" 7 少^/，
1^应乙//生 7t » w f fff > r =r二 b* VT
vt: \av2 y餐 pg "4八”", £ &俱 m 给
》o1
olo O1O
Jo J J
0」
-0
u/w J 与？ 11
< c o J roo :X -2 1 •夕 eFtsa ・tRe 一 •
:X 0，步 Q .■・• f n•?;fw
•rJ14 Colo 04—oon
UOLOL 10101^
• r 1* ih To«b*ptc3-f ol-4«>
77/ 游及 //4
%* fl D r
>7乡，
数据的使用范围不同，数据治理本身不管是经济内涵还是技术内涵也不同。数据治理是指通 过相关流程和技术，对数据进行管理、维护和深度开发，获得可以作为组织关键资产的高质 量数据。
每个移动网络运营商(Mobile Network Operator, MN0)将移动通信系统中产生的数据按技 术域隔离并单独存储，这些技术域包括无线接入网(Radio Access Network, RAN)、核心 网(Core Network, CN) > 传输网(Transport Network, TN)以及运行、管理和维护(Operation, Administration, and Maintenance, OA&M)等。不同网元、不同参与者拥有的数据不够公 开透明，由此带来的数据孤岛是数据采集和共享中的主要瓶颈。
另一方面，大型OTT (Over-The-Top)业务公司在数据治理和变现策略方面(如数据存储、 分析服务、API接口)积累的专业知识远远领先于电信领域公司。
6G系统的数据治理方案将为AI和感知业务提供有力支持,将催生新的业务方式和系统特性。
01设计要点和原那么系统设计需要考虑四个方面，如

系统设计需要考虑四个方面，如
数据治理的范围远不止是传统的数据采集与存储。总体上,图1所不。
▲图1数
据治理的设计耍点
1 .数据可获得性和质量数据可获得性和质量是AI能否在各行业中得到应用的最大挑战之一。提高数据的可获得性, 意味着数据不能仅仅来自单个系统、单个领域，而需要同时来自多个系统的不同领域。这就 提出了一个根本问题：如何打破(多厂商、多运营商、多行业之间的)物理边界，让数据进 入异构数据海洋？
一旦收集并利用了原本分散且相互隔离的数据，另一个问题随之而来：如何提高数据的质 量？海量数据的获取，并不意味着获取的数据是可用的、高质量的。同时，在考虑降低数据 处理计算复杂度和能耗的同时，还需要提高数据处理效率。
2 .数据主权随着社会的全数字化转型，数据主权、数据平安和隐私的重要性空前突出，很多国家都制定 了隐私保护的法律法规。服务提供商也在不断更新它们的隐私保护方案，主要国家政府也正 在制定或已发布了数据管理相关的规定。
例如，欧盟2018年公布的《通用数据保护条例》(General Data Protection Regulation, GDPR)就从欧盟层面上规范了数据的使用。2019年，中国公布了《数据平安管理方法》， 与2016年公布的《网络平安法》一起构成了中国版的GDPR。美国也正在实施隐私相关的法 律，例如加州的《消费者隐私保护法》(Consumer Privacy Act)已于2020年1月正式生 效。
如何充分挖掘数据的内在价值，为各种业务提供精确支撑的同时兼顾隐私保护，尊重数据 主权，已成为近年来的热门话题。6G系统设计应当考虑到监管的不确定性，尤其是存在于 不同地区之间的监管差异带来的不确定性。
3 .知识管理一般来说，知识可以看作是经过处理后的具有特定用途或价值的数据，可以被不同技术和业 务领域的物理实体或虚拟实体直接使用。
知识管理包括知识的生成、更新和开放。就知识的生成和更新来说，我们需要仔细把关数 据的来源和质量，采取措施拦截不可靠甚至是恶意的数据源产生的低质量和有害数据。而将 知识作为一种能力对外开放，那么需要适合的平台和接口设计。
4 .法律问题各种各样的传感器和其他技术可以实时产生数据，这让数据收集和使用越来越复杂和敏感。数据生成能力的提升不仅提供了新的数据流和内容类型，同时也引发了政策和法律对数据 滥用的关注：别有用心的机构或政府可能利用这些能力到达社会控制的目的。
同时，新技术能力也让普通人难以分辨技术内容的真假。比方，普通人就很难区分一段真实 视频和一段“深度伪造” （deep fake）的视频。维护技术的社会利益和防止技术能力被用于实施社会控制、剥夺自由之间存在一种脆弱的平 衡，如何保护这一平衡，变得愈发重要。为了识别欺诈行为、防止先进技术被滥用，需要更 严格的法律和政策手段。
02架构特点数据客户

数据客户
独立的数据面是数据治理系统设计中的关键特性（如图2所示），它将为6G系统提供数据 相关的通用能力，从而为6G系统内部和外部功能提供透明、高效、内生平安和隐私保护。 下文将介绍基本概念和相关网络功能和业务。
多维数据业务
多维数据业务
数据采集
数据面
基础设施与OA&M /
▲图2独立的数据面实现完整的数据治理.独立数据面
独立数据面旨在实现6G系统的数据治理方案，它处理的数据来自不同业务实体。不管数据 来自哪里，数据的整个生命周期都在这一平面完成处理，包括数据生成与收集、数据处理 与分析、数据业务发放。
因此，独立的数据面可以为外部商业实体（如汽车、制造和医疗等垂直行业）提供数据服务, 也可以为6G系统本身（如控制面、用户面和管理面）提供网络自动化和优化服务。网络运 行相关的配置、状态、日志，以及用户个人数据、传感器数据、其他各方提供的数据都是收 集的对象。
收集到的数据会形成丰富的数据资源，这些数据资源可以以分布式的形式被组织起来。为了防止直接将原始数据用于AI和感知等应用而导致的问题，原始数据在被使用之前通常需要 预处理（如匿名化、数据格式再塑、去噪、转换、特征提取等）。
为确保数据完整、过程合规，数据处理过程中所涉及的政策（如地理限制、国家或地区隐私 法规等规定），不管是否来自监管层面，都默认需要遵守。将数据传递至数据面时，还需要 遵守数据合同中约定的数据使用权利和义务。数据脱敏是保护隐私的关键，数据面需要提供 这一服务。
上述由数据面提供的所有服务，都由自包含的OA&M系统来运营管理。
数据面的另一重要功能是基于数据收集、处理和编排生成知识。为了协调来自不同数据源 的数据的处理和传输，知识的生产也需要按照合同要求进行。
随着新的数据源、数据模型、数据主题被数据客户关注和使用，数据治理框架可以不断演进、 不断充实。因此，数据治理框架的运营管理和框架的实时开展是可以并行的。
由于数据面是一个逻辑概念，所以可以通过集中式分层架构实现，也可以作为一种分布在边 缘或深度边缘节点上的逻辑功能实现。接下来我们将探讨数据面的一些关键要素。
1 .数据治理的多方角色数据治理生态系统包括两个维度的角色：从数据客户到数据提供者、从数据所有者到数据管 理者。不同的角色可以由不同的业务实体担任。因此，6G中的数据治理是典型的多方参与 场景，使用6G系统提供的数据或知识的数据客户、6G系统的数据提供者都可能参与其中。
6G可以有自己的数据治理框架，也可以在自身领域知识的基础上，与其他行业参与者一起 构建数据治理框架。也就是说，数据治理框架可能存在不同的演进或开展路线。因此，不同 业务实体之间在运营阶段如何确定数据权利非常重要，可以借助区块链等去中心化技术解 决这一问题。
2 .数据资源数据资源的内容非常丰富，包括结构化数据、非结构化数据、预处理数据、后处理数据、原 始数据。从无线环境中高效收集数据（如移动性等用户行为数据和网络状态数据）是数据治 理的前提。然后可以使用智能方法分析数据、将数据衍生的知识传输给内外部客户。因而有 必要了解数据的来源。
BSS
业务相关 4客户相关行业通信系统
56

行业通信系统
56
RAN传输网 核心网
行业OA&M相关 客户相关

计算资源（深度边缘、边缘、云）1 基础设施

1 基础设施
7 终端▲图
3主要数据源类别图3展示了 6G系统中一些主要的数据源类别。
基础设施：基础设施即通信系统，包括RAN、TN和CN等各类物理和虚拟资源，以及 云、边缘和深度边缘等计算资源。基础设施内部产生的数据包括计算资源信息、通信资源信 息（如某一网络功能的状态）、感知信息（如来自RAN的感知信息），以及某些用户信息（如 移动性信息、位置和相关上下文）。
运营支撑系统（Operation Support System, OSS）：这一层的数据包括所有OA&M 相关的数据，如物理设备状态、系统运行信息、业务发放信息。
业务支撑系统（Business Support System, BSS）：这一层的数据包括所有与业务 逻辑相关的数据，如客户信息、伙伴关系管理信息。更重要的还有消费者和企业客户的订阅 数据，对于这些数据，他们应拥有完全所有权和控制权。
行业通信系统：6G行业应用场景中，提供的数据可能还包括行业相关OA&M数据信 息、行业用户信息（如流量规律和移动性数据）以及存储在云端的业务/服务数据。此类数 据的所有权应完全属于行业客户。
终端：来自终端侧的数据包括计算和通信资源、业务使用概况、感知知识等。此类 数据的所有权应完全属于终端用户。
3 .数据6G中，数据治理的一个主要作用就是提供合适的方法构建数据资源，这需要合适的架构和 网络功能的支持，构建数据资源的第一步是收集数据，这一步有如下几个关键动作：
与数据源建立协议（如数据授权）和平安连接。
接收数据收集需求，确定收集范围，根据需求确定提供的地点、时间和方式。
将数据属性告知数据源。
从数据源收集数据并入库。
对数据库中的数据进行操作和维护0.数据分析
在管理数据资源的基础上，为不同类型客户提供数据分析服务便成为可能。有如下四种数据 分析服务可以提供：
描述性分析挖掘历史数据的统计信息，提供网络洞察信息，如网络性能、流量模型、信道状况、用户等方面。
诊断性分析可以实现网络故障和业务损伤自主检测，识别网络异常根因，从而提升网络可靠性和平安性。
预测性分析利用数据来预测未来事件，如流量模式、用户位置、用户行为和偏好、资源可用性，甚至是故障。
建议性分析基于预测性分析为资源分配、内容展示等提供建议。
数据面提供的知识来自数据分析服务，提供的知识包括主动知识（如行动建议）和被动知识 （如信息共享和客户的行动决定）。
数据分析服务可以基于客户需要，并根据客户需求定制。数据面应按需多维度开放服务和数 据，表1列举了可向客户提供的服务类型的例如。可以预见的是，实际的客户类型比表格中 所列举的更丰富，客户对数据分析的需求和使用场景也各不相同。
▼表1数据面提供的多维数据服务例如
客户
服务例如
基础设施网络管理员
基础设施网络性能监控、分析、预漏、保障
基础设施网络资源利用监测与优化
基础设施网络配置、监测和优化
通信业务管理员
业务性能（如QoS）监测、分析、预测、保障
业务计费优化
业务平安监测、分析、预测、保障
设备连接管理员
设备位置跟踪和解析
设备活动状态配置与跟踪
设备移动方式监测、分析、预洪
内容转发管理员
数据缓存和下发方案优化
第三方客户
用户行为分析做对特定业务的兴趣度）、用户位置和分布等
社交环境分析（如用户社交关系、情感、周边地点、位置移动）
6.数据脱敏收集和储存敏感数据，就涉及了隐私风险，需要承当隐私保护责任。数据脱敏是回应隐私关 切、实现法律遵从的重要动作，对于在6G设计中支持AI和感知业务也尤为重要。
特别是对于AI任务，需要考虑跨领域的设计。近来有大量关于AI领域中差分隐私 （differential privacy）的研究，探讨如何将单个设备的训练数据匿名化。
模型训练和AI推理过程中的数据脱敏在6G设计中必不可少。实现差分隐私的方法包括： 在不影响数据统计属性的前提下为训练数据加入噪声，训练模型仍然可以捕捉到原始数据集 的特征；使用加密技术，使机器学习基于加密的（而非解密的）数据进行。还有一种方法是, 让设备发送模型参数，而不是训练数据，比方说联邦学习和拆分学习。
在这一过程中存在一个风险，如果有完全掌握学习方法的内部人员心怀不轨，那么他可以利 用模型逐渐收敛的过程构造与训练数据类似的信息。例如在联邦学习中，信息可能因此被泄 露给恶意设备。
不管何种学习方法，数据脱敏都是需要考虑的问题。因此，我们需要在这个前提下，思考如 何处理不同学习方法之间的差异和学习方法自身的局限性。