网络大模型十大问题白皮书2024.pdf
《网络大模型十大问题白皮书2024.pdf》由会员分享,可在线阅读,更多相关《网络大模型十大问题白皮书2024.pdf(22页珍藏版)》请在咨信网上搜索。
1、1网络大模型十大问题白皮书6GANA SIG22023.12.212摘要作为 6G 的研究热点,网络与 AI 被 ITU-R 正式提出作为 6G 的 6 大场景之一。其一直以来受到学术和工业界的广泛关注,6GANA 也提出了网络 AI 的理念并展开了深入的研究。而随着大模型的兴起以及其在各行业表现出来的强大潜力,可以预见到大模型也将在 6G 网络中扮演重要的角色,相关的研究也将逐渐进入高发期。本白皮书将首先对网络大模型(NetGPT)给出明确的定义,随后从基础理论、场景需求、网络架构、部署管控、数据治理等方面系统阐述 NetGPT 的10 大重点研究问题,分析潜在的研究路线,希望能够为后续的
2、NetGPT 的相关工作指引方向。3目 录摘要.21.背景.42.网络大模型的定义.43.十大基础问题.53.1 NetGPT 场景和需求问题.63.2 NetGPT 的基础理论问题.73.3 NetGPT 的极致性能要求问题.93.4 NetGPT 间的协同问题.103.5 NetGPT 的原生分布式部署问题.123.6 NetGPT 的网络架构设计问题.133.7 NetGPT 的安全隐私问题.143.8 NetGPT 的数据服务问题.163.9 NetGPT 的评判体系与方法问题.163.10 NetGPT 的全生命周期管控和编排问题.184.总结与展望.2041.背景ITU-R WP5
3、D 第 44 次会议正式通过了IMT 面向 2030 及未来发展的框架和总体目标建议书,作为 6G 研究的一个重要的里程碑,代表了全球的 6G 愿景共识,其中 AI 与通信融合被作为 6 大关键场景之一,与 6GANA 提出的 Network AI 理念不谋而合。随着大模型的颠覆性发展,AI 在自然语言处理、计算机视觉、语音识别等领域的任务处理能力得到了极大的突破。特别是大语言模型,如 ChatGpt,能够准确识别并理解用户的意图,为用户提供问题,生成文本等,并在结合多模态技术后不断向更多领域拓展。可以预计,大模型将会成为 AI 通信融合的关键组成部分。在提高网络中 AI 的通用性和多任务处理
4、能力等方面发挥重要作用。然而我们需要意识到,大模型与 AI 在应用上是有着很大不同的。在以往 AI 模型的使用上,是通过收集大量的数据然后从头训练模型,因此需要关注是如何针对具体任务设计模型结构、网络如何收集需要的数据,网络如何为 AI 模型的训练推理提供算力和算法支撑等。大模型在应用上,是以预训练基础模型为底座,通过各种策略,如 prompt,fine-tune 以及向量库等方式来适配各类具体任务。另外,大模型意图理解和涌现能力,也给大模型的应用带来了更多的可能性,例如可以实现基于意图的编排,调用各种工具实现具体任务等。同时,大模型的巨大参数量和算力需求,也为其在网络中的应用带来了新的挑战。
5、为此,我们需要重新梳理大模型和网络结合这个领域中的关键问题,为后续的研究指明方向。2.网络大模型的定义大模型将在运维、执行、验证等方面为移动网络服务。通过整合通信知识,大模型可以帮助检测故障和生成解决方案。随着网络服务的多样性和复杂性,大模型可以用来编排和调度任务流程,还可以进行性能优化、环境预测、资源分配等。通过出色的生成能力,大型模型有望在验证阶段发挥重要作用,如室外复杂环境的通道生成、高铁场景模拟等。因此,我们将无线通信网络中使用的大模型定义为网络大模型(NetGPT)。由于无线通信网络包含 RAN/CN/OAM 这些不同的技术域,他们在功能特性、数据结构、以及性能需求上都有着明显的区别
6、。例如,应用在运维领域的模型可能与 NLP 领域 LLM 类似,可以直接对 LLM 进行微调得到;而应用于空口的模型与自然语言完全是另一套体系。因此,NetGPT 并不是一个单一模型通配所有网络场景,而是一系列模型的组合。需要注意的是,这种5组合并不是简单的将孤立的模型摆放在一起。我们为 NetGPT 建立了三层模型,即 L0,L1 和 L2。其中,L0 代表全网通用大模型;L1 代表网络不同领域大模型,如 RAN/CN/OAM 域大模型;L2代表特定场景下的网络模型,如信道预测或者负载均衡等,如图 1 所示。NetGPT 在通用性、基础性和规模上,都是传统各网元各自训练出的特定场景模型所不能
7、相比的。通用性上,NetGPT-L0 要能在全网各领域通用,包含是电信领域的基础知识,NetGPT-L1 的通用性就差一些,局限在对应的领域内;基础性指的是能够通过 few-shot 甚至 zero-shot就很好的适配到下游任务上,这一点 NetGPT-L0/1 都要具备,特别是 L1,要能够作为 NetGPT-L2 的基础模型,通过各种策略来快速适配到新的场景中去,不再需要从头开始训练 L2。而在模型规模上,NetGPT-L0/1 的参数量要满足大模型的基准门限,目前业界普遍的看法是,产生智能涌现的最少参数量在 70 亿。NetGPT-L2 的参数量可以小很多,方便其部署在网络边缘和端侧。
8、图 1 NetGPT 三层 L0/1/23.十大基础问题尽管大模型,尤其是 LLM,已经在很多领域展现出了令人惊叹的能力,网络大模型仍然还有很多基础问题需要去研究和解决。这些问题可以分为两类,一类是大模型本身的设计类问题,另一类是网络设计如何支撑大模型应用类问题,如图 3-1 所示。也就是说,我们让 NetGPT 既要造的出,也要用得好。6图 2 网络大模型 NetGPT 十大问题3.1 NETGPT 场景和需求问题网络技术研究,以需求和场景始。研究 NetGPT 的需求和典型场景是网络大模型制定发展策略、规划和优化的基础,并对网络长期规划、技术升级和演进决策具有重要意义。只有具备高增益的典型
9、场景、高价值的典型业务,才能为 NetGPT 后续的落地和部署提供必要保障,否则只能是停留在纸面的空中楼阁。因此,NetGPT 的需求是否真实存在,需求程度如何,需要通过研究过程逐步去伪存真,为后续的网络设计和 NetGPT 发展提供必要依据。另外,在 NetGPT 需求和场景研究中,需要结合对未来技术趋势的分析,需求和场景研究可以一定程度适度超前当前科技水平。单从 IT 视角进而 CT 视角看 GPT 技术,从 IT 视角看,GPT 既是一种 AI 大模型,也是超级AI 大应用;从 CT 视角看,GPT 既可以是一种辅助工作的赋能手段,也可是一种创新设计新范式。而就 6G 网络发展而言,从“
10、需求搜集”到“系统设计“,再到”规范标准“,“研发测试”,“规划,建设,运维,管理,优化,营销”等全生命周期的各个环节,GPT 类技术都可以在其中发挥重要作用,而从一开始最具价值的毫无疑问是 GPT 赋能网络,即 NetGPT。而无线网络边缘单设备/终端相对于云较为受限的计算能力,决定了 NetGPT 并不能像传统 AI 那样对网络中的功能和算法进行简单替换,而需要重新设计,包括适配无线网络的 NetGPT 算法,以及原生支持NetLM 应用的无线网络架构。7(1)NetGPT 在网络中提质、增效、降本和拓收的需求和场景。体现在提高网络 AI 普适性、网络性能提升、网络智能化管控优化等方面。面
11、向沉浸式通信、超大规模连接、超高可靠低时延、泛在连接、智能内生、通感融合等未来网络应用场景,相对目前的网络管理与服务方式,使用 NetGPT 是否可以出现新的管控范式,进而 AI 服务可以更加广泛,AI 准确度得到有效保障,网络获得较大的增益。例如,在多样性的场景中,为不同场景的需求提供定制化的解决方案,根据不同场景精准编排网络服务,从而实现网络的泛在智能,提高网络的适应性和用户满意度。在网络传统的管控优化方面,大模型能否提供更普适性的 AI,在自动化网络管理和故障排除、网络优化和资源分配、辅助构建自适应网络、检测网络威胁和异常活动从、辅助分析网络数据等方面,进行综合性的分析与管理,提升网络全
12、局的效率。(2)6G 网络架构支撑 NetGPT 发展的需求和场景。6G 网络新的创新技术,天然具备支撑 NetGPT 独具优势发展的土壤,如移动算力网络、分布式网络架构等。但是 6G 网络架构、功能、接口设计,与 NetGPT 的发展速度时间窗口不一定完全匹配。6G 网络设计在原生支持NetGPT 方面,通过云计算、边缘计算移动算力网络的计算资源,为 NetGPT 提供训练算力、分布式部署、分布式推理等场景是否具有需求与可行性。另外,在 NetGPT 算法设计中,是否匹配6G 网络泛在终端、异构资源特点;以及 NetGPT 的出现,是否会对目前 6G 架构,功能与协议栈造成冲击。这些将是 6
13、G 网络和 NetGPT 需要共同面对的问题。(3)NetGPT 在 6G 网络应用中的边界。无线网络的层级越低,对服务质量(QoS)(包括实时性和准确性)的要求就越高。目前的大模型技术并不能满足移动通信网络对高确定性 QoS保障的要求,未来 NetGPT 的发展是否会只能用于特定层级或特定功能。例如,NetGPT 是否只适用于空中接口的高层,而不适用于物理层?这些边界问题还涉及 NetGPT 在每个具体应用中可能发挥的作用。例如,NetGPT 能在多大程度上支持未来的 OAM 系统-完全或部分自治网络。在研究 NetGPT 时,有必要澄清上述基本情况和边界问题。3.2 NETGPT 的基础理
14、论问题在未来无线网络全面智能化时代,通信、计算、数据、AI 的融合是不可避免的趋势,而构建NetGPT 是实现这一目标的关键。然而,要实现 NetGPT 的构建,需要解决许多基础理论问题。(1)NetGPT 与 LLM 的差异。作为最具代表性的基础模型,大型语言模型 LLM 也被很多研究者作为网络模型的底座,通过微调或者提示等方式来解决网络任务。然而,通信领域与自然语言处理领域的根本差异导致了 NetGPT 与大型语言模型在理论上的显著差异。这些差异主要体现在以下几个方面:81.数据特性:NetGPT 处理的数据集涉及通信信号,例如通道信息,这些以高维张量形式表现,与大型语言模型所处理的基于令
15、牌(tokens)的数据形式有本质区别。2.后端任务:无线网络处理的任务种类迥异,因此 NetGPT 的输出形式可能多样化,与大型语言模型使用令牌输入输出形式不同。3.模型大小:NetGPT 定义了多层次的结构,在不同层次上部署多种规模的模型。特别是在网络边缘部署的 NetGPT 模型,如基站中的 NetGPT-L2,其参数规模可能仅为 1 至10 亿,相较于集中式大型语言模型的 50 至 2000 亿参数规模有相当大的差异。另外,随着模型规模的不断增长,我们看到 LLM 的性能提升也逐渐出现边际效益递减的情况,是否还有其他更好更高效的架构,或者说更适合移动网络的架构?例如 transform
16、er 在一定程度上牺牲了捕捉局部特征的能力,特别是失去的位置信息对于时序数据非常重要,PositionEmbedding 也只是一个权宜之计,在作用域对于时序要求更高的移动通信系统时是否能产生好的效果?transformer 的 Embedding 对于结构化数据的处理效果并不太好,尚未有效解决如何将非连续数据映射到向量空间的问题,这对于目前以结构化数据为主的电信运营商来讲也是一个亟需解决的基础问题。因此,对于 NetGPT 是否能与大型语言模型使用同样的模型架构,或者NetGPT 将激发新的理论和架构研究,仍然有待进一步的探索。(2)NetGPT 的泛化能力如何满足网络任务的多样性。大模型的
17、一大优势就是可以利用非常少的下游数据来进行特定任务的适配,或者是 few-shot 甚至 zero-shot 的学习,都能达到不错的效果。这就为各类下游任务节省了大量的数据收集、清洗和标注的时间,大大节约了开发成本。另外一个就是基于大模型来适配新任务,可能并不需要调整大量的参数,只需要调整非常少的参数量就可以,有很多 parameter efficient 的微调方法都能得到不逊色于全量参数调整的性能。但是,网络任务的多样性可能远远超过自然语言领域。我们需要深入研究大模型泛化性的理论基础,为什么可以使用少量数据和参数就可以学习到新的任务知识,然后才能去有针对性的优化 NetGPT 在网络任务上
18、的泛化性能。虽然这方面已经有一些非常重要的研究理论,包括过参数化等理论,但是其深层次的理论框架依然没有建立,包括我们应该建立起怎样的数学或者分析模型来对大模型进行定量的分析等。(3)大模型参数规模问题也是构建 NetGPT 的一个基础问题。随着模型参数规模的增加,模型的性能和泛化能力也会随之提高,并且只需要更少的参数调整就能适配到新的下游任务。然而,大规模的模型参数也会带来计算和存储上的挑战,以及在训练和使用时带来更大的能耗。如何针对网络的复杂性设计与之匹配的模型参数规模,是非常值得研究的一个挑战性问题。9当我们想要去获得一个大型系统如移动网络领域专用的行业大模型时,我们必然要去弄清楚这些大模
19、型上的理论问题。对于每个问题,都需要深入研究其具体的内涵和挑战,以推动NetGPT 的研究和应用。3.3 NETGPT 的极致性能要求问题通过使用深度学习、强化学习等先进的人工智能技术,大模型可以从大量移动网络数据中提取有用信息,并实现智能化的决策和控制,广泛应用于移动网络的信号处理、传输控制、无线资源分配、干扰管理等多个方面,为智能物联网、智慧医疗、智能交通等领域提供有力支撑。为了实现这些应用,模型必须实时高效,能够快速处理输入并进行决策;模型必须准确可靠,尽量避免错误决策造成的网络问题;模型必须稳定可用,保障网络运行和服务质量不受模型故障影响;模型必须具有可扩展性,能够适应不同场景和不同用
20、户的需求。(1)NetGPT 的实时性要求。无线通信网络的应用场景常常涉及到各种实时任务,如自动驾驶、远程医疗、智能制造等。这些场景对网络的实时性要求极高,即使微小的延迟也可能导致严重的后果。这就需要大模型参与到网络业务的处理时,能够在极短的时间内进行决策和执行,以应对快速变化的网络环境。例如基站上的资源调度的时间粒度是 0.51ms。然而大模型的复杂计算过程和大规模参数会带来推理的延迟,很难直接应用到网络的底层逻辑上。我们需要为NetGPT 开发高效的模型推理和执行方法,甚至在模型架构上进行重新设计和简化,从而提升其推理效率。进一步地,可以通过采用高效的硬件加速、进行软件的加速优化、压缩优化
21、模型算法和模型结构等方法来形成芯片、框架、系统的整体优化。此外,在移动网络中,数据是不断更新的,可以利用增量学习和更新方法,只对更新的数据进行训练和调整,以减少计算量和时间成本。(2)NetGPT 的可靠性要求。移动网络中医疗诊断、金融风控等应用对网络的可靠性要求很高,任何通信问题都可能引发重大的安全事件。然而大模型依然没有突破神经网络 AI 的可解释问题,其在推理中可能发生的幻觉现象容易导致不准确甚至误导性的输出,就有可能为网络产生错误的决策,从而引发网络事故。所以目前的大模型应用仍然局限在外围辅助,无法触及核心系统。虽然大模型的幻觉问题还不能立刻解决,但是我们仍然可以从提高数据质量、改善模
22、型结构、引入领域知识、加强防御措施等方面尽可能地降低这类风险。(3)NetGPT 的高可用性要求。无线传输的环境复杂,存在各种不确定性和干扰,例如信号衰减、噪声干扰、多径效应等。同时,由于硬件规模和通信量规模庞大,大模型训练甚至推理10过程中难免遇到硬件故障或软件问题。大模型需要具备高可用性,在各种干扰或故障下保持较高的可用性,以避免由于推理中断造成网络通信的低效或故障。一方面,需要考虑如何从数据备份、模型模块化、异常处理和分布式部署等方面提升大模型容错率,保障大模型不会因单一故障瘫痪;另一方面,也需要大模型利用数据冗余、快速恢复机制等方式提供一定的容灾性,保证灾难发生后大模型能快速恢复,提供
23、可用和稳定的网络服务。(4)NetGPT 的灵活性扩展性要求。当前移动网络用户业务呈现出多样化的特点。未来,传感器网络、智能物联网等应用促进网络规模不断扩大,新型业务也不断涌现。大模型需要能够适应多种移动网络环境和业务需求,并进行灵活配置和调整。大模型应该具备在计算、存储、通信等方面进行扩展的能力,以根据移动网络的需求进行扩展,处理更多的用户、更复杂的业务场景以及更高的数据流量等。同时,由于移动网络设备和协议多种多样,不同的设备和协议具有不同的特性和要求。大模型需要能够针对不同的网络协议、设备类型和网络制式进行自适应调整,以便为不同的设备和应用场景提供一致的服务。目前,增强模型灵活性的技术包括
24、模型压缩、模型迁移等。3.4 NETGPT 间的协同问题大模型是从弱人工智能向通用人工智能的突破性探索,能够用来解决了传统 AI 应用碎片化问题,未来多模态只会让大模型越来越大,但性能与能耗提升不成比例的效率问题限制了规模的继续扩张。相较大模型,小模型专注在特定场景,相对而言参数较少、结构简单、精度低、计算量较少,适用于处理规模较小、简单的数据集,可以快速迭代,便于快速试验的一种模型结构。因此让网络大小模型的协同进化,各司其职可能是更适合的方式,大模型向边、端的小模型输出模型能力,小模型在真实场景收集的增量数据,负责实际的推理与执行,小模型让大模型有再进化的元素;不需要重复训练相似的大模型,同
25、时小模型再向大模型反馈算法与执行成效,让大模型的能力持续强化,形成有机循环的智能体系。11图 3 NetGPT 大小模型协同示例网络大模型 NetGPT 间的协同关系主要是体量较大适合在云端部署的 L0 全网通用大模型、L1 网络专业大模型,与体量较小适合在边缘部署的 L2 网络小模型之间,在模型训练和推理方面的协同,说明如下:(1)L0 全网通用大模型与 L1 网络专业大模型间协同在模型训练上,L0 全网通用大模型为 L1 网络专业大模型提供预训练模型,可利用专业领域数据和模型参数调整来进行模型微调,生成 L1 网络专业大模型;L1 网络专业大模型为 L0 全网通用大模型提供反馈数据来进行模
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 模型 大问题 白皮书 2024
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。