行业大模型标准体系及能力架构研究报告.pdf
《行业大模型标准体系及能力架构研究报告.pdf》由会员分享,可在线阅读,更多相关《行业大模型标准体系及能力架构研究报告.pdf(54页珍藏版)》请在咨信网上搜索。
1、行业大模型标准体系及能力架构研究报告I腾讯云计算腾讯云计算(北京北京)有限责任公司有限责任公司中国信息通信研究院云计算与大数据研究所中国信息通信研究院云计算与大数据研究所行业大模型标准体系及能力架构研究报告VI前言前言当前,随着人工智能技术的不断发展,深度学习模型的规模逐渐增大,性能显著提升,各行各业迎来了新的发展机遇。通用大模型作为通用技术基座,在多个任务和领域上均表现出较好的性能,但由于缺乏专业知识与行业数据,并不能精准解决某个行业或企业的特定需求和问题,而且通用大模型的构建和训练成本通常很高,难以实现商用。为更好解决特定行业问题,行业大模型应运而生。行业大模型可满足特定场景需求,更好地为
2、行业提供优质的服务,促进行业智能化转型升级。为促进行业大模型的健康快速发展,我们充分研究了构建行业大模型所需能力及构建方式,提出了行业大模型构建路线图及相应的标准体系,用以指导企业建设大模型能力。行业大模型构建路线图围绕行业需求分析与资源评估、行业数据与大模型共建、行业大模型微调与优化三方面展开,以更专业、成本更低的方式,引导行业和企业建立特有的大模型服务。大模型标准体系围绕大模型基础能力和特定行业特定场景服务能力展开对大模型能力进行全方位评估,保证大模型快速高质量发展。行业大模型标准体系及能力架构研究报告VII目录目录第一章第一章 行业大模型开启产业升级的行业大模型开启产业升级的“黄金时代黄
3、金时代”.1(一)大模型技术应用不断演进,迎来发展新机遇.1(二)MaaS 支持大模型应用落地全流程能力构建.3(三)场景化需求快速推动大模型价值释放.6(四)行业大模型应用落地亟需建设路线指引.8第二章第二章 行业大模型构建路线图,指导企业建设大模型能力行业大模型构建路线图,指导企业建设大模型能力.11(一)行业需求分析与资源评估.111.业务需求评估.122.算力层评估.123.算法层评估.154.数据层评估.155.工程层评估.16(二)行业数据与大模型共建.171.明确场景目标.172.模型选择.183.训练环境搭建.194.数据处理.205.模型训练共建.21(三)行业大模型精调与优
4、化部署.221.模型精调.222.模型评估.243.模型重训优化.264.模型联调部署.26行业大模型标准体系及能力架构研究报告VIII5.模型应用运营.27第三章第三章 大模型标准体系先行,全面建立能力指标体系大模型标准体系先行,全面建立能力指标体系.28(一)聚焦工程化应用,五大维度评估行业大模型基础能力.281.模型开发标准.282.模型能力标准.293.模型应用标准.304.模型运营标准.315.安全可信标准.32(二)围绕特定行业和场景需求,评估行业大模型服务能力.331.金融大模型标准.332.文旅大模型标准.343.政务大模型标准.354.传媒大模型标准.365.电信大模型标准.
5、376.教育大模型标准.387.工业大模型标准.398.汽车大模型标准.409.家居大模型标准.41第四章第四章 行业大模型应用行业大模型应用“百花齐放百花齐放”,价值不断释放,价值不断释放.43(一)文旅典型案例.43(二)金融典型案例.46(三)传媒典型案例.47第五章第五章 行业大模型行业大模型“千行百业千行百业”落地,驱动落地,驱动 AI 原生应用发展原生应用发展.49行业大模型标准体系及能力架构研究报告1第一章第一章 行业大模型开启产业升级的行业大模型开启产业升级的“黄金时代黄金时代”目前,国内外公司纷纷发布大模型,涉及通用大模型、行业大模型、垂直大模型与专属大模型,一些超强模型服务
6、背后是千亿或万亿参数的基础模型。大模型的诞生标志着人工智能领域的一大步,能够在各种任务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等,催生出新的场景和产业模式,快速推动产业智能化应用落地。(一一)大模型技术应用不断演进,迎来发展新机遇大模型技术应用不断演进,迎来发展新机遇随着 ChatGPT(Chat Generative Pre-trained Transformer,对话生成式预训练变换模型)的问世,大模型进入快速发展的时代。一些超强模型服务背后是千亿或万亿参数的基础模型,通过学习丰富的知识,成为与人类交互及连接万物的工具。图 1 通用大模型的发展2016 年 Open AI
7、发布 Gym 强化学习平台。从 2018 年 GPT-1 问世以来,模型参数从 GPT-1 的 1.17 亿,经过不断迭代,增长到 GPT-4的 1.76 万亿的参数规模,通用大模型的性能,也得到了显著的提升。行业大模型标准体系及能力架构研究报告2斯坦福大学的研究发现,GPT-3 已经可以解决 70%的心智理论任务,相当于 7 岁儿童;至于 GPT3.5,更是解决了 93%的任务,心智相当于 9 岁儿童!2022 年 11 月,ChatGPT 正式发布,是基于 GPT-3.5 架构并通过强化学习训练后的大语言模型,目前仍以文字方式互动,支持包括自动文本生成、自动问答、自动摘要等多种任务。Goo
8、gle 从 2017 年 6 月,发布 Transformer 架构以来,陆续发布了 BERT、T5 等预训练模型,参数规模也在逐步提升。当前大部分大模型均利用 Transformer 架构搭建。近期,Google 发布的通才模型PaLM-E,包含 5620 亿参数,可用于控制机器人,为通用人工智能(AGI)的实现提供了可能。图 2 Google PaLM-E 大模型控制机器人Meta 于 2023 年 2 月开源大模型 LLaMA,已经对大模型的产业链上下游产生极其重要的影响,带动了 Alpaca、Vicuna、FreeWilly2、BELLE、Chinese-LLaMA、Yuan-Chat
9、、MiniGPT-4 等几十个开源大模行业大模型标准体系及能力架构研究报告3型,形成了“羊驼”开源大模型生态圈。7 月开源大模型 LLaMA2 发布,一定程度上降低了商业化部署的成本。图 3 LLaMA 大模型生态圈(二二)MaaSMaaS 支持大模型应用落地全流程能力构建支持大模型应用落地全流程能力构建MaaS(Model-as-a-service,模型即服务)提供了一整套大模型服务工具链和开放平台,行业用户基于行业基础大模型,利用整体的模型套件经过精调再训练,生成满足特定场景需求的专属大模型。与提供基础设施的 IaaS(基础设施即服务)、提供工具的平台即服务(PaaS)和提供软件的 Saa
10、S(软件即服务)相比,MaaS(模型即服务)以模型作为交付目标。基于 MaaS 构建的一站式行业大模型构建和应用解决方案,围绕模型的生命周期提供各种的产品和技术,辅助行业用户从数据预处理、模型构建、模型训练、模型评估到模型服务实现全流程能力构建。解决了企业构建行业大模型成本高、时间长、难度大的问题,降低数字化转型的成本和风险,支撑客户快速实现大模型应用的产品化和商业化,更快地实现数字化转型和升级。行业大模型标准体系及能力架构研究报告4图 4 MaaS 解决方案行业用户利用 MaaS 构建专属的行业模型,可以根据自有数据进行精调,通过训练加速、推理加速完成模型的构建。构建专属行业模型,将预处理完
11、成的数据,载入机器学习平台,选取特定算法并调试,载入特定模型完成训练任务,最后,通过压缩裁剪的方式优化调整模型,并完成模型的注册及验证测试工作,通过测试验证的模型将正式发布和部署。MaaS 通常内置了行业大模型和工具箱,配套标准化流程和落地服务,支持行业用户进行行业大模型的精调,生成符合需求的定制化模型,并在此基础上进行部署,构建行业用户的智能应用,具体来说包括以下两个方面。第一,MaaS 可以通过基础行业大模型、定制场景大模型、模型推理服务 API 等不同的方式,为企业用户提供灵活和定制化服务。企业用户可以利用企业特有数据对大模型进行自主训练,完成模型的精调工作。企业用户可以根据特定业务场景
12、,通过对话、问答、问答挖行业大模型标准体系及能力架构研究报告5掘、相似问句生成等任务,再次进行微调,仅需少量自训练数据量就可以得到企业专属的大模型。自主训练措施包括通过关键词提示、上下文提示、类别提示、语义提示等问答提示工程方式,完成对特定任务的无监督训练。第二,MaaS 可以提供公有云的部署流程、私有化的部署流程,以及混合化部署多样化部署方式。公有云部署,在训练阶段用户先将数据上传到云存储并做好训练代码和环境的准备,完成训练任务后存储模型并进行模型评测。用户行业用户可以在公有云直接购买并使用公有云的机器资源,经过精调和二次训练,生成行业用户的专属大模型,并应用于业务系统,这样可以降低行业用户
13、的训练成本。私有化部署,技术服务提供商可提供基础行业模型并部署在用户本地,用户在本地进行数据训练和模型精调,并调用本地算力和存储资源,完成模型二次训练,满足用户对于敏感数据的隐私保护。混合部署,可以将公有云方式与本地化部署方式相结合,精调训练数据的过程可以在本地进行,通过部署私有化的软件与服务完成模型的精调任务,满足用户部署多样灵活的需求。图 5 公有化方式部署行业大模型标准体系及能力架构研究报告6图 6 私有化方式部署图 7 混合方式部署(三三)场景化需求快速推动大模型价值释放场景化需求快速推动大模型价值释放大模型受益于技术能力的提升和多样化的场景需求,如今其自身正是人工智能领域最大的动力之
14、源,推动人工智能从技术积累、行业应用、产业变革到赋能千行百业的基础设施。行业大模型标准体系及能力架构研究报告7图 8 大模型在场景中的应用智能问答,应用于金融、文旅、政务等各个行业,根据不同行业的特征数据,生成对应场景的特定应用,产品类型包括语音助手、企业客服、呼叫中心、专家咨询、智能助教、智能导诊、销售助手、培训辅导等。内容创作,行业客户可以依据产品特点,利用大模型生成特色文案,助力产品的推广;大模型应用于模板创作、剧本创作、编曲填词,为原创作者增加创意元素,协助作者更好的创作;大模型辅助新闻从业者生成访谈提纲、新闻摘要等;大模型辅助研究人员和教育工作者生成论文摘要、课程设计等,更快速的掌握
15、知识或进行课程的编排。推荐系统,大模型可以根据历史销售数据和客户反馈,学习并生成个性化的销售话术,帮助销售人员更快速地了解客户需求,准确推荐产品,提高销售转化率;大模型通过分析大量的销售数据,提供预测分析功能,帮助销售人员更好地理解市场需求和销售趋势;基于客户的购买历史和偏好,大模型生成智能推荐系统,为不同客户提供个行业大模型标准体系及能力架构研究报告8性化的产品推荐和营销活动;利用大模型创建自动化工作流程,自动生成跟进任务或提醒,减少人工操作失误,提高销售团队的效率。风控模型,基于 AI 大模型的智能风控系统可以通过分析海量数据,利用图神经网络、对抗生成网络和异常检测等技术,挖掘潜在的风险因
16、素,识别异常行为,实时监测金融市场的风险变化,帮助金融机构避免损失,辅助金融机构能够进行更精准的风险评估和信用评估。除了以上场景,大模型在自动驾驶、智能运维、代码助手等很多方面都有着广泛的应用空间和产业需求。(四四)行业大模型应用落地亟需建设路线指引行业大模型应用落地亟需建设路线指引通用大模型在一定程度上很难满足行业用户的直接需求,首先是模型所包含的参数量巨大,训练和部署对算力的消耗十分巨大,成本高昂;其次是模型的可解释性仍然较弱,通常需要增加内容管控手段保证结果的安全性;最后是模型对训练数据的依赖性仍然很强,对超出训练数据的任务效果不尽如人意。更为重要的是,在一些特定的行业,通用基础大模型的
17、表现并不理想,因此行业大模型应运而生。行业大模型,通常基于该行业领域的数据进行训练和优化,更好地理解和处理该行业的专业术语、规范和语义。行业大模型更加专注于某个特定的行业,满足对应行业的需求。目前产业的行业大模型解决方案,助力构建专属大模型及智能应用,并结合自身在算力方面的优势,为行业模型训练提供强大的支持和动力。但是,行业大模型最终要在真实场景落地,达到理想的服务效果,需要充分解决行业用户行业大模型标准体系及能力架构研究报告9的痛点。目前行业用户所面临的问题包括计算资源少、数据质量差、投入成本高,专业人才稀缺等突出问题。图 9 行业选择应用大模型的痛点计算资源方面,大模型的训练,需要对计算资
18、源和存储资源提出较高要求,对于很多行业用户而言门槛很高,现有的资源难以支持大模型的训练和推理。同时高质量的行业知识库和训练数据是行业大模型构建的关键要素,模型训练过程,需要大量高质量的数据进行训练和优化。数据质量方面,行业用户在模型训练过程中,经常会因为数据各类问题,导致大模型的效果和效率无法得到保障。成本投入方面,在确保业务使用的效果和可持续性方面,行业用户需要投入很高量级的数据、计算资源、专业技术和时间来训练、调试、优化并部署实施,成本极高。专业人才方面,行业客户通常缺少 AI 领域技术人才的储备,模型的开发落地通常对技术人才有很高的要求,相关资源的缺失影响大模型在产业的快速落地和持续优化
19、。行业大模型标准体系及能力架构研究报告10面对这些痛点和问题,需要行业大模型技术服务提供商,提供行业大模型精调解决方案,帮助模型开发者与算法工程师,一站式解决数据的处理问题,高效率、高品质、低成本地创建和使用大模型。满足不同行业用户的不同部署需求,支持私有化本地部署的方式,在权限管控、数据加密等方面提供完善的方案。技术服务提供商,应该为行业用户,提供例如金融、文旅、政务、传媒、教育等各行业的基础行业大模型,便于行业用户基于基础模型,进行便捷的精调,以支持不同业务场景和应用的开发。行业大模型标准体系及能力架构研究报告11第二章第二章 行业大模型构建路线图,指导企业建设大模型能力行业大模型构建路线
20、图,指导企业建设大模型能力行业大模型的构建可以加速行业用户的数字化转型效率,提升企业的服务质量。但行业大模型的构建,对行业数据、计算资源和部署运维等提出较高的要求,这对于很多行业用户而言有一定的门槛。更为重要的是,当前缺乏面向行业大模型的构建方法和流程的指导方案,企业用户不清楚如何着手构建行业大模型。本章针对垂直领域的行业大模型,建立标准化流程,具体涵盖业务需求分析与资源评估、行业数据与大模型共建、行业大模型微调与优化部署等关键环节,并对每个关键步骤的细节进行分析。图 10 行业大模型构建路线图(一)行业需求分析与资源评估图 11 行业大模型评估流程构建行业大模型首先需要对业务需求和资源进行评
21、估,具体包括包括业务需求评估、算力层评估、算法层评估、数据层评估和工程层评估等。行业大模型标准体系及能力架构研究报告121.业务需求评估业务需求评估主要是明确业务的具体需求,将业务需求转换为明确、可量化的目标,从而确定行业模型构建的基本方向。行业用户可以结合实际场景和需求,对以下三点进行明确:(1)业务数据:明确需要处理的数据模态。不同的数据模型影响基础大模型的选择;(2)业务指标:将业务需求初步细化为多个子任务,明确各子任务的期望指标;(3)业务服务方式:明确行业用户需要的服务方式。服务方式包括私有化部署或公有化部署,行业用户可以基于技术服务商提供的基础大模型进行私有化部署,也可以利用自有的
22、大模型,通过技术服务提供商提供的模型工具,丰富私有化的部署手段。同样,采用公有云部署的行业用户,也可以根据实际业务需要,确定使用自有的大模型或是由技术服务提供商提供的基础模型。2.算力层评估算力层评估主要是确定行业大模型在实际训练和部署中需要使用的算力资源类型和大小,从而对成本和进行时间预估。在算力评估方面,行业用户需要重点评估计算、存储和网络三部分。行业大模型标准体系及能力架构研究报告13图 12 算力层评估内容一是计算能力,需要考量不同算力上的行业大模型训练时长和成本情况。训练所需要的资源,通常与模型的参数量级,标注后的数据集大小相关。结合训练所采用的芯片、所支持计算网络,以及所选用的精调
23、算法,可以评估单次训练时长。算力层评估可以在模型训练和部署层面上分别进行评估:(1)模型训练算力评估,以通用单卡芯片为例,计算能力可达到 312 TFLOPS,若基础大模型参数为百亿,采用有监督的参数精调(SFT)方式,标注后数据集为 1GB,采用 RDMA100G 网络,这通常需要 32 张卡,每次训练耗时 2 至 3 周;若精调采用 Lora 方式,每次训练耗时可缩短到 1 周。(2)模型推理算力评估,推理所需要的算力资源,通常以 QPS(每秒查询数)评估,这与模型参数、芯片型号和数量相关。生成类模型的推理性能,一般以每秒生成的 token 数衡量。若模型参数达到百亿,运行大小 30G,在
24、 2 卡条件下,QPS 约可达到 130 tokens/s。行业大模型标准体系及能力架构研究报告14二是存储方案,训练数据和大模型需要大量的存储空间,行业用户可以根据训练数据的大小,评估所采用的存储方案。当前,有多类的存储方案可以选择,包括:(1)对象存储 COS(Cloud Object Storage),读取模式可谓下载数据到训练机器本地,读写速度可以超过 0.42GB/s,若采用COS+GooseFS 存储方案,可以提供基于对象存储的多层缓存加速,IOPS 可达 20 万;(2)文件存储 CFS(Cloud Files Storage),IOPS 可达 3 万,若采用 CFS Turbo
25、 方案,IOPS 可达 300 万。通常训练数据小于 50GB 时,行业用户可采用 COS 或 CFS 方案。当训练数据大于 50GB 时,行业用户可采用 COS+GooseFS 或 CFSTurbo 的方案。三是网络通信,当前大模型主要采用分布式训练的方式,训练节点间的通信问题严重影响训练效率。行业用户可以根据模型的参数量级和训练数据量,选择所采用的网络技术。行业大模型的训练需要高性能的网络支持,通常需要至少支持 RDMA 100G 的网络。RDMA技术是为解决网络传输中服务器数据处理的延迟而应用的技术,其支持跨过操作系统的内核开销,直接访问到网卡。支持 RDMA 网络的主流技术包括 RoC
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 行业 模型 标准 体系 能力 架构 研究 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。