大型语言模型行业图谱.pdf
《大型语言模型行业图谱.pdf》由会员分享,可在线阅读,更多相关《大型语言模型行业图谱.pdf(51页珍藏版)》请在咨信网上搜索。
1、 研究报告 (2024 年第 3 期 总第 35 期)2024 年 01 月 26 日 大型语言模型行业图谱大型语言模型行业图谱1 1 科创金融研究中心 朱雅姝 刘碧波 【摘要】【摘要】行业图谱研究是本中心科技成果转化研究的一项子课题,目标定位于清晰理解前沿科技成果的技术核心、科创企业的技术竞争力及科研工作者的研究进度,从而助力科技成果转化效率的提升。行业图谱研究将以系列形式展开,选取国家战略重点科技领域的商业应用场景逐一进行,时效性较强。本报告为行业图谱研究之计算机科学系列中的课题:大型语言模型(含 ChatGPT)行业图谱。ChatGPT 的成功引发了全球对大型人工智能模型的浓厚兴趣,加速
2、了学术界和商业界的发展。自2017年起,美国在战略层面高度重视人工智能,将其应用于经济、文化和社会福 1 感谢资本市场与公司金融研究中心的实习生许喜远同学对本报告的助研工作。许喜远同学是清华大学医学院2022 级博士。祉等众多领域。到 2023 年,中国也迅速跟进,采用自主研发的技术平台取得领先地位,显示出 ChatGPT及相关技术已成为未来国家战略支持的重点。ChatGPT 的发展可分为五个研究阶段,从初期的专家系统演变为基于深度学习和大数据的方法。核心变革之一是 GPT-3 模型,它凭借大规模参数和创新的“提示语”概念,显著提升了理解和生成自然语言的能力,并在情感分析、机器翻译等多个领域得
3、到应用。技术上,ChatGPT 利用基于 GPT-3.5 的人类反馈强化学习,实现了语言生成能力的显著提升,增强了模型对新指令的适应性,超越了仅依赖于参数量增加的限制。成功的关键因素包括 OpenAI 的战略转型、技术突破、巨额资金投入、强大算力支持以及顶尖团队,共同构成了 ChatGPT的成功基础。ChatGPT 以其基于 GPT-3.5 的先进技术,在准确性、多任务处理和泛化能力上占据市场优势,但面临着时效性不足、高成本和专业领域局限性的挑战。与此同时,国际竞争对手如 Google 和 Meta在技术研发及商业应用上保持领先地位。战略上,ChatGPT 通过 API和订阅模式获得了市场先机
4、,而 Google 和百度更专注于 B 端市场。在中国,国内的通用大型语言模型正处于发展阶段,公司如百度和华为正在追赶国际趋势,但在数据、算力和工程化实施方面面临挑战。语言大型模型的国际研发现状呈现明显的区域差异。在国际领域,以爱丁堡大学的 Geoffrey Hinton、布尔诺理工大学的 Tomas Mikolov、斯坦福大学的 Chris Manning 和 Quoc Le、以及多伦多大学的 Ilya Sutskever 等人为代表,他们开发的技术位于行业前沿,具有重大的创新性。而在国内,清华大学计算机系的唐杰教授、自然语言处理与社 会人文计算实验室的孙茂松、交互式人工智能课题组的朱小燕教
5、授、智能产业研究院的张亚勤以及复旦大学的邱锡鹏教授团队、哈尔滨工业大学的王晓龙教授等,作为国内在语言大模型研发方面的顶尖技术代表,他们在自然语言处理 AI 的底层技术研究领域也取得了新的突破。大型语言模型改变了数字产业的人机交互方式,提升了软件的用户友好性和功能性。它们在降低企业应用构建成本、推动新生态平台发展方面扮演关键角色,并在对话式 AI 领域显著提升了产品的智能和感知能力。这些模型还促进了多行业的功能升级和生态整合。ChatGPT 及类似大型 AI 模型在全球科技界的崛起,尽管其带来了商业与创新价值,却也引发了众多安全与伦理问题,如对人类角色的替代、数据偏见和隐私泄露等,导致业界和科研
6、人员对 AI 发展提出质疑和暂停的呼声。为此,采用了如基于人类反馈的强化学习和监管框架等手段减轻这些风险。通用人工智能(Artificial General Intelligence,AGI)技术如 GPT-4 不仅提高了生产力和经济增长,还可能改变人类的思维模式和文化传统,推动相关学科发展。通过本报告,我们旨在为 ChatGPT技术和产业的发展提供参考和引导,共同推动产业合作,促进行业健康快速发展。目录 一、ChatGPT 的技术研发基础.4(一)自然语言处理的发展历史.4(二)大规模预训练语言模型的技术发展.7 二、OpenAI ChatGPT 技术发展历程.8(一)ChatGPT:生成式
7、 AI 里程碑.8(二)ChatGPT 核心技术:人类反馈强化学习.9(三)OpenAI ChatGPT 成功要素分析.11 三、国内外主要大语言模型技术对比.12(一)ChatGPT 的优势.12(二)ChatGPT 的劣势.14(三)中国自研通用基础大语言模型.16(四)国内外语言大模型对比.21(五)语言大模型研发技术国内外主要研究机构及代表性成果.24(六)大模型训练:领先公司硬件资源全面对比.26(七)国内外主要大语言模型研发路径与技术对比.27(八)国内外主要大语言模型厂商商业路径对比.28 四、大语言模型落地应用对数字产业影响.29(一)通用搜索引擎新布局.31(二)基础办公软件
8、革新.32(三)对话式 AI 接入“高知、高情商大脑”.33(四)企业服务与垂直领域应用.34(五)ChatGPT Plugins 触发生态建设开关.35 五、ChatGPT 带来的风险与挑战.36 六、全球人工智能时代来临:个体能力与社会文化的新格局.37 七、专业术语解析.39 参考文献.41 图表目录 图 1-1 大规模预训练语言模型发展历程及重要概念.7 图 2-1 生成式 AI发展历程与 ChatGPT 的突出能力.9 图 2-2 ChatGPT 能力实现解析.10 图 2-3 资金投入与发展策略为 ChatGPT成功带来至关重要的影响.11 图 3-1 通用基础大语言模型的价值与自
9、研卡点.17 图 3-2 中国大语言模型产业价值链.19 图 3-3 国内外主要大语言模型研发路径与技术对比.27 图 3-4 国内外主要大语言模型厂商商业路径对比.28 图 4-1 大语言模型将改变数字产业生态.29 图 4-2 搜索引擎与大语言模型结合情况.30 图 4-3 ChatGPT 应用于基础办公软件.32 图 4-4 大语言模型与对话式 AI结合.33 图 4-5 大语言模型应用于企业服务及垂直领域.34 图 4-6 ChatGPT 通过 Plugins构建超级应用生态.35 表 1-1 知识表示和调用方式的演进.5 表 3-1 ChatGPT 存在不足的示例.15 表 3-2
10、大规模文本预训练模型对比表.21 表 3-3 代码预训练模型对比表.23 表 3-4 语言大模型研发技术国内外主要研究机构及代表性成果.24 1 2022 年 11 月 30 日,OpenAI 公司推出了一款全新的对话式通用人 工 智 能 工 具 ChatGPT(GPT,Generative Pretrained Transformer)。据报道,仅在几天之内,该工具的注册用户就已经超过了 100万人,两个月的活跃用户数更是达到了 1亿人。这一惊人的成绩引发了全网的热议,成为历史上增长最快的消费者应用程序之一,引发了人们对于未来哪些工作会因此消失的讨论,并引领了人工智能领域新的技术浪潮。Cha
11、tGPT 之所以有这么多活跃用户,是因为它通过学习和理解人类语言,以对话的形式与人类进行交流,其交互方式更加自然和准确,大大改变了人们对于聊天机器人的印象,从“人工智障”到“有趣”的印象转变。此外,ChatGPT 还能够根据用户的需求进行机器翻译、文案撰写、代码撰写等工作。ChatGPT 的成功推出引起了大模型构建领域的关注,学术界和企业界纷纷跟进,启动研制自己的大模型。在 OpenAI 推出 ChatGPT之后,微软也快速推出了基于 ChatGPT 技术的新产品 Bing,并计划将 ChatGPT 集成到 Office 办公套件中。谷歌也迅速推出了类似的Bard 以与之抗衡。此外,国内的百度
12、、阿里巴巴、华为、腾讯、网易、京东等企业也都表示正在进行类 ChatGPT模型的研发。ChatGPT 引起了国家战略层面的关注。美国在人工智能(Artificial Intelligence,AI)领域有着明确和综合的战略方针,涵盖了经济、国防和社会福祉等多个方面。在美国,多个政府机构已推出关键政策倡议,以加速人工智能的研究与发展。国家科学与技术 2 委员会(National Science and Technology Council,NSTC)于 2016年推出了全国人工智能研究与发展战略计划,为联邦人工智能研发工作奠定了基础。这一努力在 2019 年得到了扩展,当时白宫发表了行政命令,要
13、求联邦机构优先考虑人工智能投资。从立法方面来看,美国国会于 2020 年通过了全国人工智能倡议法案,以通过人工智能加强经济和国家安全,此外还有 2017 年的人工智能未来法案,旨在设立一个有关人工智能的联邦咨询委员会。至 2020 年,国家科学基金会(National Science Foundation,NSF)也做出了重要的财务承诺,特别是拨款 1.4 亿美元用于五年内建立五个新的人工智能研究院。然而,随着 AI 技术的不断发展,不排除将来某些先进模型或算法被纳入为战略资源。这样的决策会受到多种因素影响,包括但不限于该技术的成熟度、其在关键应用(如国防、健康或信息安全)中的表现、以及与国家
14、利益和全球政治环境的相互作用。我国 2023年 2月 24日,科技部部长王志刚表示:“ChatGPT在自然语言理解、自然语言处理等方面有进步的地方,同时在算法、数据、算力上进行了有效结合。”科技部高新技术司司长陈家昌在回应 ChatGPT 相关提问时也表示,ChatGPT 最近形成了一种现象级的应用,表现出很高的人机交互水平,表现出自然语言的大模型已经具备了面向通用人工智能的一些特征,在众多行业领域有着广泛的应用潜力。这也标志着 ChatGPT 相关技术有可能会成为国家战略支持的重点。3 从技术创新角度,ChatGPT 是一个聚焦于对话生成的大语言模型,能够根据用户的文本描述和历史对话产生相应
15、的智能回复。GPT 通过学习大量网络已有文本数据(例如 Wikipedia、Reddit 对话)获得了像人类一样流畅对话的能力,尽管有时生成的回复并不符合人类预期。ChatGPT 的成功推出和迅速发展,是人工智能领域技术和应用的一大进步,为未来智能化和人机交互提供了更为广泛和深入的应用空间。同时,ChatGPT 所涉及的技术和应用也呈现出多样性和复杂性,需要技术和商业界的共同探索和开发,以实现更好的技术创新和商业价值。本报告首先回顾了自然语言处理的发展历史以及大规模预训练语言模型的技术发展历程,接着详细分析了 ChatGPT 的技术发展历程、相关技术、未来技术发展方向,然后探讨了 ChatGP
16、T 的优势与劣势、应用前景以及带来的风险与挑战,最后对未来自然语言发展的方向提出了见解。4 一、一、ChatGPT ChatGPT 的技术研发基础的技术研发基础 ChatGPT,即聊天式生成预训练语言模型,是由 OpenAI 开发的一种基于大规模预训练生成式语言模型的人工智能(Artificial Intelligence,AI)系统。它借鉴了生成预训练 Transformer 模型(Generative Pre-trained Transformer,GPT)系列模型的技术1,旨在理解和生成自然语言,提供与人类相似的对话体验。自然语言处理(Natural Language Processin
17、g,NLP)是计算机科学和人工智能领域的一个关键子领域,主要研究如何让计算机理解和生成人类语言。在过去的几十年中,NLP 技术经历了从基于规则的方法到统计学习方法再到深度学习方法的转变。近年来,随着深度学习技术的发展,尤其是预训练语言模型(如 GPT 系列)的出现,NLP 领域取得了显著进展。(一)自然语言处理的发展历史(一)自然语言处理的发展历史 自然语言处理是一门涉及计算机科学、人工智能、语言学等多个领域的交叉学科。从其历史发展来看,自然语言处理经历了多次重要的研究范式转变。早期的自然语言处理方法是基于小规模专家知识的,这些方法需要手动设计规则和知识库来解决自然语言歧义性和抽象性等问题,但
18、这种方法难以处理大规模数据和复杂任务。后来,基于机器学习的方法开始兴起,使得计算机可以通过学习样本数据来进行自然语言处理,这种方法在一些特定任务上表现良好,但在处理复杂任务时,需要大量的训练数据和特征工程,难以取得更好的效果。随着深度学习的兴起,基于深度神经网络的自然语言 5 处理方法开始流行,这些方法通过多层神经网络进行特征提取和语义表示,可以处理大规模数据和复杂任务,但需要更多的计算资源和标注数据。最近,基于大规模预训练语言模型的自然语言处理方法成为研究热点,这种方法可以通过大规模语料库的预训练来学习通用的语言表示和知识表示,从而可以用较少的标注数据解决多个任务,并取得了较好的效果。表表
19、1-1 知识表示和调用方式的演进知识表示和调用方式的演进 知识表知识表示方式示方式 表示方式表示方式的精确度的精确度 知识调用知识调用方式方式 调用方式调用方式的自然度的自然度 研究领域研究领域 代表应用代表应用 代表公司代表公司 结构化知识库 高 机器语言 低 数据库 企业管理系统 Oracle 关键词搜索 中 关键词搜索 中 互联网 搜索引擎 Google 大规模预训练语言模型 高 自然语言 高 自然语言处理 聊天机器人、智能问答系统 OpenAI、Microsoft、百度等 自然语言处理的研究始于 20世纪 50年代(如表 1-1所示),早期研究主要集中在语言理解和语言生成两个方面。语言
20、理解主要是将自然语言转换为计算机可处理的形式,例如将句子分词、词性标注、句法分析等;语言生成则是将计算机处理结果转换为自然语言,例如生成自然语言回答、摘要等。早期的自然语言处理方法主要是基于规则和专家知识的,如语法规则、词典和逻辑规则等,这些方法局限于小规模任务,而随着数据量和任务复杂度的不断增加,基于规则的方法逐渐失去了优势。6 随着机器学习和深度学习的发展,自然语言处理研究进入了新的阶段。机器学习机器学习方法的兴起为自然语言处理带来了新的思路,使得计算机可以从数据中自动学习语言知识和规律从数据中自动学习语言知识和规律。深度学习的兴起更是为自然语言处理带来了巨大的变革,通过神经网络的特征提取
21、和语义表示,深度学习方法可以有效地处理自然语言歧义性和抽象深度学习方法可以有效地处理自然语言歧义性和抽象性等问题性等问题,取得了很好的效果。近年来,随着大规模预训练语言模型的兴起,自然语言处理的研究进入了新的阶段。基于大规模预训练语言模型的自然语言处理方法,如 BERT(Bidirectional Encoder Representations from Transformers)、GPT 等,通过预训练模型来学习通用的语言表示和知识表示,可以用较少的标注数据解决多个任务,并取得了极好的效果。这种方法的出现,使得自然语言处理能够处理更多的语言任务和应用,如机器翻译、问答系统、文本分类、情感分析
22、等2。在自然语言处理的发展过程中,还涌现了很多重要的技术和算法,如词嵌入、文本向量化、注意力机制、序列模型等。这些技术和算法为自然语言处理提供了重要的基础和支撑,使得自然语言处理能够不断进步和发展。目前,自然语言处理在人工智能领域扮演着越来越重要的角色,也是人工智能应用的重要组成部分。自然语言处理的应用领域非常广泛,如搜索引擎、智能客服、语音识别、机器翻译、情感分析、智能写作等。尤其是在聊天机器人、智能问答系统等人机对话领域,自然语言处理技术的发展对于提高机器理解和表达能力,使得机器与人之间的对话更加自然流畅,具有重要 7 的意义。随着自然语言处理技术的不断发展和应用,它将在更多的领域和行业产
23、生重要影响。图图 1-1 大规模预训练语言模型发展历程及重要概念大规模预训练语言模型发展历程及重要概念 (二)大规模预训练语言模型的技术发展(二)大规模预训练语言模型的技术发展 大规模预训练语言模型(大模型)是 ChatGPT 的基础,它是一种关键的技术,能够提高系统的性能。图 1-1简要介绍了大模型的发展历程。在 2018 年,OpenAI 提出了第一代 GPT 模型,开创了自然语言处理领域的“预训练”时代。然而,GPT 模型并没有引起太大的关注,反倒是 Google 提出的 BERT 模型更为受欢迎。尽管如此,OpenAI继续沿用第一代 GPT模型的技术路线,陆续发布了 GPT-2和GPT
24、-3模型3。GPT-3 模型尤其引人注目,它拥有 1,750 亿个参数,同时提出了“提示语”(Prompt)的概念。只要提供具体任务的提示语,即使不对模型进行调整,它也能够完成该任务。例如,输入“我太喜欢 8 ChatGPT了,这句话的情感是_”,GPT-3就能够输出结果“褒义”。如果在输入中再提供一个或多个示例,那么任务完成的效果会更好,这也被称为“语境学习”(In-context Learning)4。更详细的技术细节可以参考相关的综述文章。但是,通过对 GPT-3 模型能力的仔细评估,发现大模型并不能真正克服深度学习模型鲁棒性差、可解释性弱、推理能力缺失的问题,在深层次语义理解和生成上与
25、人类认知水平还相去甚远。直到ChatGPT的问世,才彻底改变了人们对于大模型的认知。二、二、OpenAI OpenAI ChatGPT ChatGPT 技术发展历程技术发展历程 (一)(一)ChatGPTChatGPT:生成式:生成式 AIAI 里程碑里程碑 相较于先前的生成式对话解决方案,ChatGPT(Chat Generative Pre-trained Transformer)在连续对话范围、内容生成质量、语义识别及逻辑推断方面均表现出显著优越性,超越了市场对聊天机器人的常规预期,成为生成式人工智能(AI Generated Content,AIGC)的关键里程碑(如图 2-1所示)。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大型 语言 模型 行业 图谱
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【宇***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【宇***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。