2024年GPT与通信白皮书.pdf
《2024年GPT与通信白皮书.pdf》由会员分享,可在线阅读,更多相关《2024年GPT与通信白皮书.pdf(82页珍藏版)》请在咨信网上搜索。
1、1/81在大数据、云计算等关键技术的共同推动下,以ChatGPT 为代表的GPT 大模型大量涌现,展现出了极富创造力的内容生成能力,提供了高度智能化的人机交互体验。一直以来,在通信方面存在许多传统方法难以精确建模或高效求解的技术难题,而GPT 展示出的潜力能够改进信息通信的服务,提升自智网络的性能。此外,GPT 的快速发展和广泛应用,也需要大带宽低时延高可靠的通信网络来支撑。因此,本白皮书从通信从业者的角度,探讨了GPT 与通信的相互关系。具体来说,首先,第1章阐述了GPT 大模型的概念、发展历程和研究现状。其次,第2章探讨了GPT 赋能通信行业的崭新应用,以及在网络智能自治中的定位。再次,第
2、3章对通信网络如何支持GPT 泛在应用进行了研究,给出了未来网络设计的典型思路。接着,第4章对GPT 和通信从独立演进到协同发展的过程进行了全面的分析,介绍了未来能够通过“6G+GPT”加速数字化和智能化转型的 行业。随后,第5章指出了“GPT+通信”融合发展所面临的五个最显著的问题,并给出了一些解决思路。然后,第6章提出了对GPT 与通信融合发展的建议和对未来的展望。最后,第7章对本白皮书进行了总结。2/81目录.10.41.GPT 引领人工智能发展热潮.71.1.GPT 基本概念.71.1.1.生成式预训练转换器.71.1.2.大模型.81.1.3.Transformer 架构.101.2
3、.GPT 发展历程.121.3.GPT 研究现状.141.3.1.国外研究现状.151.3.2.国内研究现状.171.3.3.国际组织.172.GPT 赋能通信行业.192.1.GPT 催生通信新应用与新改革.192.1.1.智能客服.202.1.2.自动化仿真.212.1.3.增强语义通信.222.1.4.重塑芯片设计领域.232.2.GPT 促进通信网络智能自治.242.2.1.GPT 重塑网络规划.252.2.2.GPT 增强切片部署.262.2.3.GPT 简化网络运维.272.2.4.GPT 加速网络优化.283.通信网络使能 GPT 泛在应用.313.1.通信网络保障 GPT 应用
4、落地.313.2.未来网络技术支撑 GPT 应用.333.2.1.未来网络设计的典型思路.343.2.2.原生支撑 GPT 应用的 6G 网络.353.3.新型网络架构支持 GPT 能力下沉.363.3.1.自适应切片.373.3.2.分布式学习.383.3.3.边缘智能.394.GPT 与通信协同发展.414.1.GPT 与通信从独立演进到紧密结合.414.1.1.GPT 与通信结合趋势.414.1.2.GPT 与 5G 网络结合.424.2.GPT 与 6G 通信网络融合发展.434.2.1.GPT 支持海量数据处理.444.2.2.GPT 推动网络自服务.444.2.3.GPT 协助网络
5、资源编排.444.2.4.GPT 构建网络内生安全.454.3.“6G+GPT”赋能行业数字化转型.454.3.1.“6G+GPT”赋能智能工业.464.3.2.“6G+GPT”赋能智慧医疗.474.3.3.“6G+GPT”赋能智能交通.474.3.4.“6G+GPT”赋能智慧农业.484.3.5.“6G+GPT”赋能智能家居.484.3.6.“6G+GPT”赋能数字娱乐.493/815.“GPT+通信”融合发展面临的问题.505.1.通信高质量训练数据稀缺,专用模型准确性和泛化性差.515.2.端侧算力及硬件资源不足,大模型轻量化部署难.535.3.云边端异构网络协同困难,大模型性能稳定性差
6、.555.4.服务器互联存在带宽瓶颈,训练时间长推理效率低.575.5.大模型相关法律法规滞后,安全隐私与道德伦理风险高.596.发展建议与未来展望.626.1.发展建议.626.1.1.加快 AI 算力建设,提供基础设施支撑.626.1.2.加强校企联合培养,填补创新人才空缺.646.1.3.加速制定相关政策,建立平台引导发展.666.2.未来展望.686.2.1.核心技术实现突破,关键能力显著增强.686.2.2.体系建设日益完善,数字经济快速发展.696.2.3.应用场景不断拓展,循序渐进融合共生.707.结束语.72.73.79.814/810.近年来,随着人工智能(Artificia
7、l Intelligence,AI)技术的不断发展,尤其是在强化学习、大模型和内容生成等方面不断取得突破,各行各业都在积极探索人工智能技术的应用。2022 年11 月底,OpenAI 公司发布了迅速爆火的聊天机器人程序ChatGPT,它具有惊人的自然语言理解和生成能力,引起了社会的广泛关注。2023 年3 月,升级版GPT-4 多模态大模型的发布,再次引发了生成式AI的热潮,各类大模型纷纷涌现。从文字对话交互开始,GPT 在短短几年的时间内深刻影响了人们的生产和生活,带来了巨大的变化,并且许多人认为它将继续带来颠覆性的改变。比尔盖茨指出大模型是40 多年来最具革命性的技术进步;英伟达CEO 黄
8、仁勋将大模型的出现称为AI 的“iPhone 时刻”;百度CEO 李彦宏在2023 中关村论坛上提出 大模型即将改变世界。可以看出,从ChatGPT 掀起的一片浪花,到席卷全球的 浪潮,GPT 大模型已经成为当下最受关注的话题之一,预示着生成式AI 的发展迎来重要转折,2023 年在AI 发展史上也将留下浓墨重彩的一笔。作为人与人、人与自然、人与机器之间进行信息交流和传递的行业,通信行业与大模型技术的发展息息相关。通信行业本身数字化程度较高,需要处理繁杂的数据。GPT 的引入可以简化大量工作,为通信运营商带来显著的能力提升,尤其是在网络运维和业务交付方面将更加智能化。在大模型时代,随着GPT
9、技术的发展,算力、数据、算法需求将呈现爆炸式增长,同样需要通信基础设施来提供支撑。未来,GPT 如何赋能通信行业,通信行业又该如何支撑GPT,是每一个通信从业者都应该认真思考的问题。因此,本白皮书以GPT 大模型的发展历程和最新研究进展为基础,一方面结合具体场景详细说明了GPT 在通信行业中的创新应用,另一方面研究了未来通信网络在架构和关键技术上对GPT 的原生支持。然后,将GPT和通信相结合,提出了二者协同发展赋能重点行业的数字化智能化转型思路,同时也指出了二者融合发展过程中存在的问题与挑战。针对上述问题,给出了相应的发展建议和对未来的展望。最后,对本白皮书的全部内容进行了总结。本白皮书的完
10、整章节架5/81构如图0-1 所示。图0-1 白皮书章节架构图本白皮书由北京理工大学牵头组织撰写,共有18 家单位参与,包括移动、联通、电信3 大运营商,7 所一流高校,3 家知名企业,以及5 个业内领先的研究院所。从调研和跟进GPT 大模型前沿动态,到探究GPT 与通信的关系并构思白皮书的大纲,再到安排章节具体内容并分工撰写,总共历时8 个多月,有50多位专家学者深度参与,在反复讨论修改迭代了二十余个版本之后才最终完成。在此期间,部分参与单位还成功联合申请了科技部的国际合作课题“基于大模型的云算网一体化多维智能编排关键技术研究”,从而更好地支持本白皮书的完成。6/81我们认为,AI 技术仍处
11、于飞速发展阶段,GPT 大模型与通信网络能够实现相互融合、相互支持,不断拓展创新应用场景并完善生态建设,从而共同促进科技进步和千行百业的发展。7/811.GPT 引领人工智能发展热潮引领人工智能发展热潮随着AI和深度学习等技术的发展,“大模型”这一概念进入了人们的视野,其中最引人注目的就是ChatGPT。2022 年11 月30 日,OpenAI 公司正式发布人 工智能聊天机器人 ChatGPT,作为人工智能生成内容(Artificial IntelligenceGenerated Content,AIGC)在自然语言领域的代表,它强大的功能改变了许多人的工作和生活方式,掀起了全球范围内的AI
12、 新浪潮,也吸引了工业界和学术界的广泛关注。2023 年3 月14 日,正式发布的GPT-4 进一步升级,文字输入限制大幅度放宽,回答准确性显著提高,甚至可以直接输入图像,生成歌词、创意文本等,实现风格变化,让人们再次感受到生成式AI 带来的震撼。2023 年11 月7日,在首次开发者大会上,OpenAI 公司首席执行官Altman 向世界展示了GPT-4Turbo。作为GPT 最新版本,它在数据质量、图像处理和语音转换等方面进行了更新,为开发者和用户带来了更多的可能性和机会。那么ChatGPT 和GPT 是什么?它们经历了怎样的发展?又应该如何理解和应用呢?本章将从GPT 大模型出发,分别介
13、绍GPT 的基本概念、发展历程和研究现状,以便读者对GPT 有更加全面和深入的了解。1.1.GPT 基本概念基本概念1.1.1.生成式预训练转换器生成式预训练转换器GPT 的全称是Generative Pre-trained Transformer,即生成式预训练转换器,源于深度学习和自然语言处理(Natural Language Processing,NLP)领域。在过去的几年里,随着计算能力的提升和大数据的出现,NLP 领域取得了突破性的进展。GPT 作为一系列NLP 技术的集大成者,正是在这样的背景下应运而生的,如图1-1所示。G:Generative。说明了GPT 的能力是自发生成内容
14、。P:Pre-trained。说明了GPT 已经过预训练,可以直接使用。8/81T:Transformer。说明了GPT 是基于Transformer 架构的语言模型。图 1-1 GPT 的含义2017年,Google 团队首次提出基于自注意力机制(Self-AttentionMechanism,SAM)的Transformer 模型,并将其应用于NLP1。OpenAI 应用了这项技术,于2018 年发布了最早的一代大模型GPT-1,此后每一代GPT 模型的参数量都呈爆炸式增长,2019年2月发布的GPT-2参数量为15亿,而2020年5 月发布的GPT-3,参数量直接达到了1750 亿。因此
15、,ChatGPT 的“一夜爆火”并不是偶然,它是经过了很多人的努力,以 及很长一段时间的演化得来的。要了解GPT 的发展,首先应该了解大模型的概念以及Transformer 架构。1.1.2.大模型大模型一般来说,在ChatGPT 之前,被公众关注的AI 模型主要是用于单一任务的。比如,引燃了整个人工智能市场并促使其爆发式发展的“阿尔法狗”(AlphaGo),它基于全球围棋棋谱的计算,在2016 年轰动一时的“人机大战”中击败了围棋世界冠军李世石。但是从本质上来说,这种专注于某个具体任务而建立的AI 数据模型,和ChatGPT 相比,只能叫“小模型”。9/81大模型是指具有庞大的参数规模和复杂
16、程度的机器学习模型,我们所提到的通常是大语言模型(Large Language Model,LLM)的简称。语言模型是一种人工智能模型,它被训练后可以理解和生成人类语言,而“大”的意思是指模型的参数量非常大,是相对于“小模型”而言的。如图1-2 所示,这幅进化树图追溯了近些年大模型的发展历程,其中重点凸 显了某些最知名的模型,同一分支上的模型关系更近2。实心方块表示开源模型,空心方块则是闭源模型。非Transformer 的模型都用灰色表示,而基于Transformer的模型中,仅编码器模型是粉色分支,仅解码器模型是蓝色分支,编码器-解码器模型是绿色分支。图1-2 大模型进化树基于这幅进化树示
17、意图,我们可以得出:仅解码器模型正逐渐成为LLM 发展的主导模型,且OpenAI 持续保持着其在LLM 方向上的领先地位。Meta 在开源和推动LLM 研究方面贡献卓越,但GPT-3 推出后LLM 开发有闭源的趋势。此外,仍有许多公司和机构在积极探索编码器-解码器模型,比如谷歌。userid:520426,docid:159946,date:2024-04-23,10/81目前,国外大模型的主要发布机构有 OpenAI、Anthropic、Google 以及Meta等,这些模型参数规模以百亿级和千亿级为主。发展至今,国外的头部GPT 大模型主要包括ChatGPT、Claude、Bard 和Ll
18、ama 等。其中Bard 在谷歌发布了最新版原生多模态大模型Gemini 后,也正式更名为Gemini。在这场全球参与的竞争中,我国也紧跟步伐,开发了许多大模型。包括腾讯的“混元”、阿里的“通义千问”、华为的“盘古”以及中国移动的“九天”系 列等。数据显示,截至2023 年10 月,国内10 亿参数规模以上的大模型厂商及 高校院所共计254 家,意味着“百模大战”正从上一阶段的“生下来”走向“用起来”的新阶段。图1-3 展示了目前国内外厂商开发的一些大模型。图1-3 国内外各类大模型1.1.3.Transformer 架构架构Transformer 架构是GPT 的重要基础,是一种SAM 的神
19、经网络架构,广泛应用于NLP 领域的大模型中。其核心部分是编码器和解码器,即Encoder 和Decoder。编码器把输入文本编码成一系列向量,解码器则将这些向量逐一解码成输出文本。在Transformer 提出之前,NLP 领域的主流模型是循环神经网络(Recurrent Neural Network,RNN),使用递归和卷积神经网络进行语言序列转换。11/812017 年 6 月,谷歌大脑团队在AI 领域的顶会NeurIPS 发表了一篇名为Attention isAll You Need 的论文,首次提出了一种新的网络架构,即 Transformer,它完全基于SAM,摒弃了循环递归和卷积
20、。在八个P100 图形处理器(GraphicsProcessing Unit,GPU)上进行了仅仅12 个小时的训练之后,Transformer 就可以在翻译质量方面达到更高的水平1,体现了很好的并行能力,成为当时最先进的LLM。图1-4 给出了Transformer 的网络结构。Transformer 是由一系列编码器和解码器形成的,二者均由多头注意力层和全连接前馈网络组成。GPT 类似于Transformer 的Decoder 部分,是一个自回归模型。图 1-4 Transformer 网络结构图Transformer 中的核心组件是多头注意力机制模块,如图1-5 所示。它需要三个指定的输
21、入Q(代表查询)、K(代表键)、V(代表值),然后通过公式将Q 和K 之间两两计算相似度,依据相似度对各个V 进行加权,得到注意力的计算结果。12/81图1-5 多头注意力机制模块多头注意力机制不是只计算一次注意力,而是将输入分成更小的块,然后并行计算每个子空间上的缩放点积注意力。这种结构设计能让每个注意力机制去优化每个词汇的不同特征部分,从而均衡同一种注意力机制可能产生的偏差,让模型能捕捉到不同层次的语义信息,增强模型的表达能力,提升模型效果。1.2.GPT 发展历程发展历程GPT 的发展历程主要可以分为两个阶段,在ChatGPT 之前侧重于不断增加 大模型的基础规模,并增强新能力。而Cha
22、tGPT 和GPT-4 则更侧重于增加人类反馈强化学习,理解人类意图,以提供更好的服务,如图1-6 所示。图1-6 GPT发展历程13/812018 年6 月,OpenAI 公司发表论文ImprovingLanguage Understanding byGenerative Pre-training,正式发布了GPT-13。基本思路:生成式预训练(无监督)+下游任务微调(有监督)。基于Transformer 的单向语言模型,解码器结构,共12 层。参数为1.17亿,训练数据量5GB,模型规模和能力相对有限。上下文窗口为 512 tokens。2019 年 2 月,OpenAI 发表了最新进展,
23、一篇Language Models areUnsupervisedMultitaskLearners 的论文,提出语言模型是无监督的多任务学,GPT-2 也随之诞生4。基本思路:去掉有监督,只保留无监督学习。48层Transformer 结构。共15亿个参数,数据训练量提升至40GB。上下文窗口为 1024tokens。2020年5月,OpenAI 公司发表论文Language Models are Few-Shot Learners,构建了GPT-3 模型5。基本思路:无监督学习+in-context learning。采用了96 层的多头 Transformer。参数增大到1750亿,基于
24、45TB 的文本数据训练。上下文窗口为 2048 tokens。2022 年3 月,OpenAI 再次发表论文Training Language Models to FollowInstructions with Human Feedback,介绍了人类反馈强化学习(ReinforcementLearning from Human Feedback,RLHF),并推出了InstructGPT 模型6。基本思路:RLHF+微调训练。14/81增强了人类对模型输出结果的调节。对结果进行了更具理解性的排序。ChatGPT 是 InstructGPT 的衍生,两者的模型结构和训练方式都一致,只是采集数
25、据的方式有所差异,ChatGPT 更加注重以对话的形式进行交互。2023 年3 月,OpenAI 又发布了多模态预训练大模型GPT-4,再次进行了重大升级。基本思路:多模态。上下文窗口为 8195 tokens。1.8 万亿参数,13 万亿token训练数据。强大的识图能力。虽然目前GPT-4 在现实场景中的能力可能不如人类,但在各种专业和学术考试上都表现出明显超越人类水平的能力,甚至SAT 成绩(可以理解为美国高考成绩)已经超过了90%的考生,达到了考进哈佛、斯坦福等名校的水平。1.3.GPT 研究现状研究现状2023年10月12 日,分析公司 stateof.ai 发布了2023年人工智能
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2024 GPT 通信 白皮书
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【宇***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【宇***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。