人工智能行业:预训练大模型白皮书.pdf
《人工智能行业:预训练大模型白皮书.pdf》由会员分享,可在线阅读,更多相关《人工智能行业:预训练大模型白皮书.pdf(58页珍藏版)》请在咨信网上搜索。
1、预训练大模型白皮书01PREFACE高 文中国工程院院士 鹏城实验室主任北京大学博雅讲席教授自 1956 年人工智能在达特茅斯会议上被提出,人工智能领域的学者一直致力于提升算法的通用性能力,即希望人工智能方法能够像人类一样,快速灵活地适应各种实际应用问题,提升人类社会的生产效率。然而,在人工智能发展的前半个世纪,学者们始终没有找到合适的方法论,而包括符号计算、专家系统等精心设计的模型,都只能用于少数限定场景,无法拓展到以计算机视觉、自然语言处理为代表的复杂系统中去。21 世纪初,随着硬件性能的演进和大数据的兴起,情况发生了根本性的变化。2010 年开始,深度学习以席卷之势,占领了人工智能的大部
2、分领域,在许多公测数据上取得了前所未有的精确度。深度学习的本质是统计学习,即通过在大量数据上拟合复杂函数,使得该函数具有泛化能力。时至今日,这种范式已经取得了巨大的成功:一个深层神经网络,只要在不同数据上训练或者微调,就能够应用于不同的任务,而这件事在 20 年前是几乎无法想象的。然而,基于深度学习的人工智能方法,依然存在明显的缺陷。对大数据和大算力的强烈依赖、对参数调节的敏感性,都在无形之中抬高了人工智能算法的使用门槛。为此,我们迫切地需要一种新思路,打通通用数据和领域知识,并且大幅度地降低人工智能研发的人力和算力成本。为此,业界提出了预训练大模型的范式,通过收02集海量训练数据,并通过一种
3、称为预训练的过程,将其中蕴含的知识存储于大规模神经网络,即大模型之中。如此,这个预训练大模型就具有了很强的泛化能力,并且可以通过简单的微调操作,将其能力应用到下游任务中去。在过去五年间,预训练大模型在自然语言处理、计算机视觉等领域取得了长足的发展,模型规模屡创新高,模型泛化性也不断提升。而我也欣喜地看到,预训练大模型已经在华为取得商业应用,成功落地在工业质检、智慧交通、时尚设计等多个产业中。人工智能的前路依然漫长。预训练大模型正在逼近统计学习方法的极限,但是它也有无法解决的课题,包括模型的可解释性和安全性等难题。同时,大模型的功耗远远超过人类大脑,也意味着这种方式也许不是最优的解决方案。总的来
4、说,当前的人工智能正处在历史的十字路口,业界需要在预训练大模型的基础上做出抉择,走出未来的发展道路来。在上述背景下,华为公司发布预训练大模型白皮书,具有重要的意义。我相信,华为在大模型的研发和落地上的投入,最终会给学术界和产业界带来启发,成为扩展人工智能能力边界和推动人工智能产业升级的强大力量。03PREFACE张平安华为高级副总裁华为云 CEO当今世界正面临百年未有之大变局。以人工智能、大数据、物联网、云计算和 5G为代表的数字化技术,正在深刻地驱动产业变革,重塑全球的技术和产业格局。其中,人工智能发展的经济和战略意义,已经取得了包括中国在内的全球许多国家的共识。2021 年,习总书记在主持
5、中央政治局第三十四次集体学习时强调,支持人工智能和实体经济深度融合,建设数字中国、智慧社会,推进数字产业化和产业数字化,打造具有国际竞争力的数字产业集群。2022年8月,科技部等六部门联合印发了 关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见,系统指导各地方和各主体加快人工智能场景应用,推动经济高质量发展。发展人工智能已经是世界高科技的方向标之一,也成为了全球各个强国推进前沿研发的纲领性原则和激烈竞争场。作为当前人工智能领域最前沿的课题和最有力的武器,预训练大模型无疑是这场竞争中的焦点之一。以自然语言处理领域为例,预训练大模型的参数规模已经从 2018 年的亿级来到了 202
6、2 年万亿级,几乎每年都能看到数量级上的提升。预训练大模型是一项庞大的系统性工程,不仅涉及到先进算法的研发,还需要硬件、框架、开发工具的支持。华为公司构建了从昇腾+鲲鹏芯片到 AI 开发框架04MindSpore 和 AI 开发平台 ModelArts 的全栈式开发能力,并基于这些能力提出了盘古预训练大模型。一年多以来,盘古大模型持续演进,在计算机视觉、自然语言处理、科学计算等领域为业界贡献了先进的算法和解决方案。截至 2022 年,盘古大模型已经被应用于十余个行业的百余个场景,为研发人员提供了新的开发方案,也取得了可观的商业价值。实践表明,盘古预训练大模型能有效减少专家的干预和人为调优的消耗
7、,降低人工智能开发的门槛和成本,这对践行普惠 AI,实现人工智能的泛化和规模复制,具有非常巨大的意义。在整合大模型研发和落地经验后,华为团队撰写了预训练大模型白皮书,旨在将自身对大模型的洞察毫无保留地分享给业界,以期推进以大模型为核心的人工智能产业的健康发展。前路是艰辛的,前途也是光明的。人工智能经历六十余年的沉浮,始终没有放弃“减少重复劳动”和“扩展人类知识边界”这两大根本目标。只要不忘初心、牢记使命,技术研究和行业落地就能更紧密地结合起来,在发展技术的同时,为人类社会创造更多的福祉。05FOREWORD高新波教授 重庆邮电大学校长 国家杰出青年科学基金获得者 教育部长江学者特聘教授古有盘古
8、开天地,今有华为大模型。为解决人工智能算法落地的碎片化困境,预训练大模型应运而生。自华为云团队发布盘古预训练大模型以来,形成了全栈式 AI 解决方案,在很多领域获得了成功的应用。相信预训练大模型白皮书将会引领大模型健康发展,为通用人工智能探索一条可能的新路径。庄越挺浙江大学计算机学院教授国家杰出青年基金获得者 教育部长江学者特聘教授 教育部人工智能协同创新中心主任预训练大模型是当前新一代人工智能领域最前沿的研究方向,正成为世界各科技强国竞争的焦点。预训练大模型率先在自然语言处理领域取得突破性的进展,并迅速拓展到涉及图像、视频、图形、语言等跨媒体推理的各类任务和大量的商业应用之中,展现了巨大的发
9、展潜力。华为云发布预训练大模型白皮书,正逢其时,必定对 AI 行业产生有价值的指导作用,也体现了作为一个科技大公司的担当精神。我相信,预训练大模型可望成为跨媒体智能的重要技术手段。张民教授 哈尔滨工业大学(深圳)特聘校长助理计算与智能研究院院长 国家杰出青年基金获得者预训练大模型被称为人工智能应用的基础设施,它具有强大的知识建模、知识获取和应用泛化能力。华为云预训练大模型白皮书以华为云盘古大模型家族为代表,全面介绍了华为在大模型方面的系列创新性工作,包括视觉、语音语义、多模态、科学计算、图网络大模型,以及产业落地经验和对未来发展的展望。这本白皮书会给学术界和产业界提供重要的启发和借鉴。06李厚
10、强教授 中国科学技术大学信息学院副院长 IEEE Fellow国家杰出青年科学基金获得者 教育部长江学者特聘教授预训练大模型是人工智能领域的研究热点和前沿技术,近年来在自然语言处理、计算机视觉等方向取得了巨大成功。华为云团队撰写的预训练大模型白皮书,将其在大模型研发和落地中的经验总结出来,分享给学术界和工业界,对推动预训练大模型理论、方法、技术、应用的发展具有重要意义。熊红凯上海交通大学特聘教授国家杰出青年基金获得者 教育部长江学者特聘教授爱因斯坦说:这个宇宙最让人难以理解的地方,就是它竟然是可以被理解的。斗转星移,大数据和人工智能在 21 世纪,为我们开启了一个理解人类自身认知的帷幕,逐步融
11、入了我们的日常生活;也正是在这样一种时代背景下,旨在建立一种通用智能的“大模型”应运而生。它寄望于“预训练大模型+下游任务微调”的方式,将知识存储到大量参数中,扩展模型的泛化能力。很大意义上,对大模型的落地部署,能够超越产业和国家的界限,实现人类社会的福祉。华为公司的预训练大模型白皮书,我相信,能为我们建立普遍理性和平等的社会,提供强大的力量。姜育刚复旦大学教授 博士生导师教育部长江学者特聘教授 复旦大学人事处处长近年来,以 GPT-3、CLIP 为代表的超大规模预训练模型被陆续提出,通过在海量数据上进行自监督学习,有效提升了自然语言处理与计算机视觉领域多个下游任务的性能。华为云在预训练大模型
12、领域有着深厚的技术积累,于 2021 年发布了“盘古”系列超大规模预训练模型,受到了学术界和工业界的广泛关注。华为云预训练大模型白皮书总结了大模型的发展趋势及其带来的机遇,为未来研究提供了重要借鉴。07让预训练大模型成为 AI 的操作系统近年来,国内的云计算市场增速明显,企业上云明显提速。客户的需求逐步从“资源型需求”转向“智能型需求”及“业务型需求”,意味着 PaaS、SaaS 等各行业各场景的云解决方案将受到更多关注。尽管该市场呈现出了广阔的前景,业务的庞大数量和场景种类夸张的多样性也意味着巨大的难度。随着市场的成熟上升,“一招鲜吃遍天”的套路相对于针对用户需求定制化的解决方案已不具优势,
13、意味着在细分领域深耕的中小型友商也具有瓜分市场的竞争力。因此,如何在保证市场占有率并支撑如此大量的业务的情况下,控制资源和成本、保证交付效率和保证产品质量是云厂商要解决的核心难题。引言PREFACE封闭的作坊式的 AI 开发局限于特定的场景。特定的数据无法满足 AI 快速落地行业的需求AI 走进企业核心生产系统,开始创造更大价值高成本,高门槛、无积累AI 进入千行百业面临诸多挑战1 场景碎片化,作坊式开发难以规模复制2 行业知识与 AI 技术结合困难3 行业普通 AI 模型攻击、隐私、安全担忧“2025 年,企业对 AI 的采用率86%(当前4%)”EI AI 实践:600+项目,30%进入生
14、产系统,但是如果人们对电磁的理解停留在法拉第的电磁感应层次而没有麦克斯韦的电磁场理论,电气革命是不可能发生的。如果刮风下雨打雷甚至连温度变化都会导致断电,电怎么可能变成一个普惠性的产品,怎么可能变成社会基础设施?模型 1专家 专家 专家 定制场景 1模型 2专家 专家 专家 定制场景 2模型 3专家 专家 专家 定制场景 308为了解决这个困境,预训练大模型应运而生。它收集大量图像、文本等数据,利用无监督或者自监督学习方法将数据中蕴含的知识提取出来,存储在具有大量参数的神经网络模型中。遇到特定任务时,只要调用一个通用的流程,就能够将这些知识释放出来,并且与行业经验结合,解决实际问题。近年来,预
15、训练大模型相关研究和应用呈井喷态势,大有一统人工智能领域的趋势。不过我们也应该看到,预训练大模型距离规模化的商业应用,还有很长的路要走,这里不仅包含技术的演进,也包含商业模式的进化。按照我们的设想,大模型是未来 AI 计算的“操作系统”,向下管理 AI 硬件,向上支撑 AI 算法,使得 AI 开发更加规范化、平民化。我们希望通过编写预训练大模型白皮书,将我们团队在研究和落地中获得的经验总结下来,更好地促进行业的进步。另一方面,随着工业生产越来越强调智能化,大量传统行业开始积累领域数据,并寻求人工智能算法以解决生产和研发过程中遇到的重复而冗杂的问题。这就意味着,人工智能算法在落地的过程中,将会面
16、对大量不同场景、不同需求的用户。这对算法的通用性提出了很高的要求。然而我们注意到,当前业界大部分人工智能开发者,正在沿用传统的“小作坊模式”,即针对每个场景,独立地完成模型选择、数据处理、模型优化、模型迭代等一系列开发环节。由于无法积累通用知识,同时不同领域的调试方法有所不同,这样的开发模式往往比较低效。特别地,当前人工智能领域存在大量专业水平不高的开发者,他们往往不能掌握规范的开发模式和高效的调优技巧,从而使得模型的精度、性能、可扩展性等指标都不能达到令人满意的水平。我们将上述问题,称为人工智能算法落地的碎片化困境。超大的神经网络预训练模型华为云盘古大模型AI 工业化开发流水线流水线流水线泛
17、化复制模型泛化 极大节省训练投入流水线 工具集成 训练更快盘古大模型效率提升更佳模型性能10-100 倍模型 3模型 2模型 1场景 1场景 2场景 3强壮的网络架构优秀的泛化能力预训练微调&部署迭代NLP大模型(千亿参数)CV大模型(30亿参数)多模态大模型科学计算大模型09大模型是 AI 发展的必然趋势盘古大模型家族介绍/09/191.1 人工智能发展史简介1.2 人工智能发展趋势的总体研判2.1 视觉大模型2.2 语音语义大模型2.3 多模态大模型2.4 科学计算大模型2.5 图网络大模型10盘古大模型应用案例/433.1 视觉大模型案例:TFDS 图像自动识别3.2 语音语义大模型:赋
18、能智慧销售3.3 多模态大模型:一网统管事件工单分配3.4 图网络大模型:水泥生产系统的自动控制3.5 图网络大模型:炼焦系统的自动控制展望未来,大模型的机遇与挑战并存/5511大模型是 AI 发展的必然趋势13人工智能从 1956 年被正式提出以来,经历了数十年的发展历程。人工智能诞生初期,其研究主要分为三个流派,即逻辑演绎、归纳统计和类脑计算。其中,逻辑演绎方法局限性较强,难以对建模复杂的实际问题进行建模;而类脑计算方法过多地依赖于生命科学,特别是脑科学的研究,而后者的进展难以满足人工智能的一般要求。在进入 21 世纪依赖,在大数据和大算力的支持下,归纳统计方法逐渐占据了人工智能领域的主导
19、地位,并且催生出一系列方法论和应用,深刻地影响和改变了人类社会。1.1 人工智能发展史简介14人工智能发展史孕育期19561974198019871994繁荣期繁荣期繁荣期低谷期低谷期反向传播算法的提出深蓝战胜世界冠军人工智能的乐观思潮神经网络的数学模型通用计算机出现图灵测试的提出达特矛斯会议的召开感知器算法和硬件化DARPA 资金的支持Perceptron出版DARPA 终止资助对盲目乐观的反思专家系统出现统计学习受到重视专家系统的局限性硬件需求大幅下降资金支持再次减少统计学习方法的应用深度学习开始统治AlphaGo 战胜李世乭大规模预训练模型再次获得资金支持15如上图所示,人工智能的主要发
20、展阶段如下:孕育期这一时期的代表性成果,主要包括Warren S.McCulloch和 Walter Pitts 提出的人工神经网络的视觉模型,以及Alan M.Turing 设想的验证人工智能的思想实验(即图灵测试)。同时,1946 年出现的通用计算机 ENIAC,也为人工智能的复杂演算提供了硬件支撑。19431956 年第一次繁荣期以 1956 年达特茅斯会议为标志,人工智能被正式提出并且进入第一次繁荣期。基于逻辑演绎的人工智能算法解决了某些特定领域的问题(如证明数学定理),而基于亚符号系统的感知器算法也被实现出来,甚至在 1957年出现了专门用于模拟感知 器 的 计 算 机 Mark I
21、。此时的学者对于人工智能抱有不切实际的乐观幻想,包括Marvin L.Minsky(1969 年图灵奖得主)和 Herbert A.Simon(1975 年图灵奖得主)在内的多名学者,均预测人工智能将在 20 年内获得彻底解决。而以 DARPA 为代表的政府机构和大型企业,也为人工智能的研究注入了大量资金。19561974 年第一次低谷期研究者们很快意识到了第一代人工智能算法的极限。1969 年,Marvin L.Minsky发表著作Perceptrons,几乎一手摧毁了联结主义(即人工神经网络)方面的研究;同时,基于逻辑演绎的算法也被证明需要指数级时间以解决大部分问题。随着DARPA 等机构
22、撤出大部分投资,人工智能领域也开启一波反思浪潮,其中有代表性的是 James Lighthill 于 1973年发表的人工智能综述报告和 John R.Searle 于 1980 年提出的中文房间问题。19741980 年16第二次繁荣期随着专家系统的出现和盛行,人工智能算法开始在限定领域内解决实际问题。1975 年 出 现 的 MYCIN 算法,能够在医学领域完成血液传染病的诊断工作。同时,以 Hopfield 网络为代表的新型神经网络和 David E.Rumelhart 发明的反向传播算法,极大地增强了人工神经网络的适用范围。1989年,Yann LeCun(2018 年 图 灵奖得主)
23、使用五层神经网络识别手写数字,该方法取得巨大成功并在 20 世纪 90 年代识别了美国超过 10%的手写支票。以 DARPA 为代表的机构再次行动起来,使得20 世纪 80 年代后半段在人工智能领域的投入资金比起前半段增长了数倍。19801987 年第二次低谷期然而,专家系统很快遇到了新的困境。研究者们发现,即使在限定领域中,面对未知或者未定义的问题时,即使问题十分简单,专家系统的表现也无法预测甚至控制。随着支持人工智能研究资金的再度锐减,研究者们再次开始反思,并且将思路逐渐从符号系统(如归纳演绎方法)转向亚符号系统(如统计学习方法)。这一时期,研究者们开始认识到感知和交互的重要性,其中影响较
24、大 的 观 点 包 括 David Marr在其著作Vision中提出的视觉理解模型和 Rodney A.Brooks 提出的“模型可有可无,世界即是描述自身最好的模型”等。19871993 年第三次繁荣期随着现代计算机的存储能力和算力不断增强,统计学习方法逐渐成为人工智能领域的绝对主流。在人工智能的各个领域,如计算机视觉、语音识别、自然语言处理等,手工设计的模型都逐渐被统计学习模型所取代。从 2011年开始,深度学习浪潮席卷人工智能领域,终于在多个领域达到或者超越了人类水平。人工智能的第三次繁荣期,也是历史上最长的一次,至今仍未有结束的趋势。虽然许多本质问题尚未得到解决,但人工智能的诸多应用
25、已经深刻地改变了人类社会。1993 年至今值得一提的是,深度学习并未解决人工智能的本质问题。未来,业界很可能还要经历数次低潮与革新,方能达成真正的通用人工智能。在此之前,虽然存在着关于强/弱人工智能的讨论和对科技奇异点的担忧,但业界的重心依然是人工智能算法的研发。17从古早阶段开始,人工智能就分为不同的流派。人工智能的先驱们,探索和论证着通向真正智能的崎岖道路。有趣的是,有影响力的三大流派(逻辑演绎流派、归纳统计流派、类脑计算流派)从人工智能创立之初便存在,时至今日也未由其中一派彻底统一。三大流派各有优劣势。类脑计算流派的目标最为宏远,但在未得到生命科学的支撑之前,难以取得实际应用。归纳演绎流
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 行业 训练 模型 白皮书
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。