中国市场大模型落地进展与趋势洞察 2023.pdf

中国市场大模型落地进展与趋势洞察Jul.2023目录Contents中国市场大模型进展与趋势大模型在企业用户落地进展大模型在科技厂商落地进展中国大模型市场全景地图国产大模型市场机会企业落地大模型路径企业用户对大模型的预期大模型在行业落地进展大模型在企业落地方式大模型对科技厂商的价值大模型在数据分析、营销、办公的落地案例02.03.01.10中国大模型市场全景地图国产大模型市场机会企业落地大模型路径中国大模型市场进展与趋势大模型定义大模型：参数量超过10亿、具备泛化能力的模型，可以被称为大模型。大模型小模型AI建模方法深度学习、自然语言处理、多模态技术机器学习、深度学习、自然语言处理、计算机视觉等参数量参数量规模在10亿以上参数量规模是几万至几百万参数应用场景泛语言类场景（自然语言、编程语言等）、多模态场景（文本、图像、音频、视频）场景更加多样，但生成类场景效果差，不具备多模态泛化能力强，处理多任务效果好弱，处理多任务效果差可解释性弱强训练冷启动成本低任务对齐成本高冷启动成本高任务对齐成本低推理反馈速度慢准确率低反馈速度快准确率高大模型当前以生成类应用为主，多模态是未来重点发展方向生成类应用对话式交互内容生成代码开发虚拟专家智能体决策类应用辅助决策：描述、诊断智能决策：预测、指导多模态应用图像、语音、视频、结构化数据企业用户是从应用视角出发，分成生成类应用、决策类应用和多模态应用。受限于模型能力、应用效果等因素，当前阶段以生成类应用为主。理解生成推理大模型能力对比美国市场，中国市场在模型层和应用层发展迅速通用大模型应层模型层基础层AI芯片高速网络存储向量数据库云平台行业大模型领域大模型企业大模型中间层大模型应用开发工具数据标注工具提示词工程工具金融能源教育出海传媒电商医疗政务客服营销应用开发数据分析MSP运维服务商ISV独软件服务商SI系统集成商任务大模型三大要素，驱动中国“OpenAI”（通用大模型）必定出现国产化：从IT基础设施到上层应用软件的国产化、自主可控需求强烈。银行、大型央国企在内部明确限制员工使用ChatGPT用于内部办公、生产场景，5家银行在1年内有明确采购国产大模型服务的计划。客群特征：以央国企等集团型企业为主的客群，集团层面要进行大模型能力建设，有明确购买/自研通用大模型的需求。本地部署：从数据安全角度出发，银行、大型央国企如果将大模型用于生产，必须要进行本地部署。根据爱分析调研，除了部分企业基于开源自研之外，绝大部分国内企业用户和应用厂商，都在等国产大模型的商业化落地，这是国产大模型最核心的驱动力。本地部署国产化国产化服务支持本地部署市场成熟度、监管要求、数据安全等因素推动行业/领域大模型发展监管要求：C端应用短期不会放开，更多应用场景在B端。数据安全：大型甲方企业数据安全考虑，特定场景的SFT数据获取存在一定难度。FT数据量不大，但需要有很深的行业know-how，获取难度不低。通用大模型优先训练通用场景FT数据，特定场景积累需要时间。市场成熟度：很多甲方企业在23-24年有明确上线大模型需求，当前国产通用大模型能力不足。服务支持：中国企业客户需要端到端服务，倾向于采购行业大模型+业务应用，几乎不可能直接采购通用大模型，需要有很强的区域服务支持能力。监管要求市场成熟度数据安全服务支持大模型能力建设和应用场景探索是当前企业用户落地大模型的主要路径基础设施建设芯片（算力）大模型训练模型选型模型训练与微调大模型应用模型压缩大模型与小模型结合集团企业重点是大模型能力建设，一般企业/部门重点是应用场景探索。大模型能力建设分成三个层面：基础设施建设、大模型训练和大模型应用，当前以基础设施建设和大模型训练为主。综合成本和安全性考虑，智算中心会成为解决算力问题的重要方式自建集群成本高AI团队要求高安全性高云服务租用性价比高安全性差智算中心成本低于云服务安全性强安全性投入产出比智算中心云服务租用自建集群当前以SFT为主，未来预训练会成为主流SFT预训练投入算力成本低算力成本高团队需要具备模型训练经验数据集SFT精标数据SFT精标数据大量无标注数据集模型能力受限于模型本身能力能力增强，但可能出现灾难性遗忘安全性受限于模型自身数据集，只能尽可能弥补安全问题很大程度上解决安全性问题未来发展迁移成本低受限于基础大模型，迁移成本高SFT试错成本低，成为多数企业的选择。未来随着基础/通用模型成熟和算力持续降低，模型预训练成为主流方式。当前以小模型为主，模型级联是未来主要应用方向分成三种形式，现阶段以（1）和（2）为主：1）小模型为主，大模型提升小模型的开发效率；2）大模型与小模型级联，小模型连接应用，大模型增强小模型能力；3）大模型与小模型融合以小模型为主大模型提升小模型训练效率降低数据标注成本大模型与小模型级联安全性、性价比、准确度大模型提升小模型的理解和生成能力大模型与小模型融合当前主要探索方向20企业用户对大模型的预期大模型在行业落地进展大模型在企业落地方式大模型在企业用户落地进展多数企业认为大模型将带来变革性价值，但应用场景尚需挖掘调研行业分布72%28%关注不关注15%85%高层部门中层在金融、消费品零售、能源、汽车等重点行业，对大模型现状进行了摸排调研是否关注需求及来源能源、金融、消费品零售、汽车等行业最为关注大模型大型央企等控股集团从高层推动，其他企业多从IT等部门自下而上推动45%39%16%0%观望学习探索可研试点应用全面应用43%40%12%5%变革性高中低当前阶段预期业务价值大模型上线应用以内部生产力工具为主，对客应用囿于监管和大模型技术成熟度，尚需时日大多数企业对大模型预期业务价值抱有高期待1%1%1%1%3%4%4%6%7%9%16%43%咨询化工交通地产媒体信息技术央国企制造汽车能源消费品零售金融附录：预期业务价值释义高预期业务价值由高向低创造新的业务模式，并实现新的业务收入来源在既有业务模式下，业务价值得以显著增强或业务流程得以重塑，从而明显增加收入或者降低成本在既有业务模式下，业务流程有所改善，并带来收入增长或成本下降用户体验改善等业务微调，难以与收入增长或成本下降直接关联变革性中低大模型可分为生成和决策两类应用场景，决策场景预期业务价值更高生成场景决策场景通过数据分析建模，由系统直接给出能达成预期业务目标的行动方案典型场景：智能决策系统通过数据分析发现业务现象背后的原因，实现业务可诊断典型场景：数据分析通过数据采集和展示，描述业务正在发生什么，实现业务可视化典型场景：数据大屏通过数据分析，判断业务未来会可能会发生什么，实现业务结果可预测典型场景：机器学习平台辅助决策智能决策通过自然语言与用户进行交互典型场景：聊天机器人在特定领域，通过对大量的非结构化数据总结，为用户提供专业意见典型场景：智能客服生成用户需要的文字、图片、音频、视频、3D模型等典型场景：AI绘画对已有代码检查、修正，或根据要求生成代码典型场景：代码生成通过对话，调用内外部数据，满足用户目标，短期内难实现典型场景：Auto-GPT虚拟专家内容生成代码开发智能体指导诊断描述预测对话式交互基于大模型构建的AI原生应用，有望创造变革性价值预期业务价值高或中在既有业务模式下，增强或改善业务流程，带来收入增长或者成本下降预期业务价值变革性基于大模型，创造全新业务模式，并实现新的业务收入来源。只有大模型才具备涌现能力、泛化能力，从而跳脱出在系统中的模块局限。小模型时代，系统中只有部分模块为AI替代。AI应用场景切割的很细，工行1,000+场景、3,000+模型。大模型时代，整体系统具备AI能力，创造全新业务。能源、银行两大行业，大模型落地进展最快所处阶段观望学习探索可研试点应用全面上线场景丰富度高中低制造智能问答研发设计辅助主机厂自动驾驶智能座舱消费品零售智能客服千人千面文案营销图片生成导购赋能媒体摘要生成写作助手智能问答银行智能问答智能客服数字营业厅贷后报告生成沉睡客户唤醒金融产品推荐证券智能投顾智能投研智能客服智能风控审计助手智能营销药企药物研发能源智能客服设备运检知识助手检修文档生成电力系统仿真平台电力负荷预测出海智能客服能源企业生成类场景落地速度快，高价值应用聚焦决策类场景主流采纳时间1年内实现1-3年实现3年以上实现生成类大模型带来的场景价值变化决策类原生应用注：主流采纳时间，指被行业内企业用户主流采纳应用的时间。场景价值变革性高中低设备故障维修资金归集设备预测性维护电力负荷预测新能源规划设计电力系统仿真平台设备运检知识助手智能客服/虚拟营业厅检修文档生成大模型基于设备日志等运行信息进行故障定位，有望成为首个中价值场景设备运检知识助手场景价值案例对比 过去：基于NLP技术构建结构化知识库 现在：利用大模型构建运检助手 预期：效率改善 实际：提取效率和效果、交互方式有优化智能客服/虚拟营业厅场景价值案例对比 过去：基于Bert模型的智能客服 现在：利用大模型改善智能客服的用户体验 预期：用户体验改善 实际：意图理解更准确、语言更拟人化检修文档生成场景价值案例对比 过去：模板式文档填写 现在：利用大模型快速自动生成文档 预期：效率提升 实际：尚未实现，未知设备故障维修场景价值案例对比 过去：传统故障检修方法难度大、耗时耗力 现在：大模型快速定位故障原因，提供检修建议和方案 预期：故障快速定位与修复 实际：尚未实现，未知预测类决策场景是未来高价值场景新能源规划设计场景价值案例对比 过去：新能源供电不稳定，分配不同类型新能源电站强依赖专家经验 现在：利用大模型规划电站建设最优解 预期：提高供给侧规划准确率 实际：尚未实现，未知设备预测性维护场景价值案例对比 过去：AI算法故障预测能力弱 现在：大模型可以提取潜在故障特征，实现对电力设备故障预测 预期：提高设备故障预测准确率 实际：尚未实现，未知电力系统仿真平台场景价值案例对比 过去：MATLAB等电力仿真工具 现在：利用大模型自动实现仿真样本补充和样本分布改造 预期：丰富仿真样本库 实际：尚未实现，未知电力负荷预测场景价值案例对比 过去：负荷预测考虑实时影响因素少 现在：纳入更多影响因素实时预测负荷 预期：提高预测准确率 实际：尚未实现，未知银行重视大模型在营销、风控、运营三个方向应用价值主流采纳时间1年内实现1-3年实现3年以上实现生成类大模型带来的场景价值变化决策类原生应用注：主流采纳时间，指被行业内企业用户主流采纳应用的时间。场景价值变革性高中低沉睡客户唤醒金融产品推荐营销图片自动生成个性化资产配置申请/交易反欺诈智能问答助手智能客服贷后报告撰写数字营业厅智能客服场景价值案例对比 过去：智能陪练题库少，缺少针对性 现在：基于大模型生产个性化题库 预期：改善培训效果 实际：测试中，预期可以缩短培训周期营销图片自动生成场景价值案例对比 过去：设计师在素材库中选取并设计，耗时天级别 现在：Midjourney自动生成 预期：降低成本 实际：版权成本以及人力成本下降银行积极探索智能客服场景，强监管环境下尚难以实现面客业务沉睡客户唤醒场景价值案例对比 过去：沉睡客户分组、唤醒渠道、文案撰写、唤醒时间等一系列人工策略 现在：利用大模型自动生成策略 预期：端到端策略改善唤醒效果 实际：尚未实现，未知数字营业厅场景价值案例对比 过去：3D营业厅以功能展示为主 现在：大模型支持的数字人帮助客户办理业务、推荐产品完成交易 预期：独立于APP之外的新渠道 实际：尚未实现，未知品牌商AI原生应用多点开花，虚拟导购寄予厚望变革性高中低1年内实现1-3年实现3年以上实现千人千面文案场景价值主流采纳时间CDP渠道数字化智能客服营销图片生成全渠道一盘货智慧门店导购赋能实时价格优化MA智能商品运营虚拟导购代码生成生成类大模型带来的场景价值变化决策类原生应用注：主流采纳时间，指被行业内企业用户主流采纳应用的时间。大模型的降本价值在营销图片生成场景显著千人千面文案场景价值案例对比 过去：千篇一律的模板式邮件文案 现在：出海企业可基于不同用户生成个性化邮件文案 预期：改善客诉率，降低拒付率 实际：客诉率难改善，拒付率下降约1场景价值案例对比 过去：基于一组标签的用户组撰写营销文案 现在：基于每个用户生产个性化营销文案 预期：提高销售转化率 实际：客户体验改善，销售转化率无变化营销图片生成场景价值案例对比 过去：品牌商外采采购营销图片 现在：基于大模型自动生成营销图片 预期：降低成本 实际：降低面向供应商的采购成本智能客服场景价值案例对比 过去：基于Bert的NLP智能客服 现在：基于通用大模型，客服机器人的交互能力、推理能力更强 预期：提升一次接通成功解决率 实际：测试场景表现强，无训练成本大模型长期将对虚拟导购、代码生成场景带来变革性价值虚拟导购场景价值案例对比 过去：传统货架式电商、直播电商 现在：对话式电商，实现商品推荐、选择、下单等购物全流程 预期：收入增长 实际：未知，取决于消费者接受度、用户体验等场景价值案例对比 过去：直播电商以真人带货为主 现在：基于大模型的新一代数字人虚拟导购 预期：收入增长 实际：未知，取决于消费者接受度、用户体验等代码生成场景价值案例对比 过去：Kite等上一代AI代码补全工具 现在：GitHub Copilot可补全代码 预期：提高撰写代码效率 实际：测试场景，代码量10%左右可自动补全场景价值案例对比 过去：Gerrit等代码评审工具 现在：基于大模型可低成本评审全量代码 预期：保证代码规范性 实际：全量代码规范性审核车企大模型车机端应用预期高，智能座舱优先投入变革性高中低1年内实现1-3年实现3年以上实现千人千面文案场景价值主流采纳时间智能客服营销图片生成智能座舱导购赋能自动驾驶生成类大模型带来的场景价值变化决策类原生应用注：主流采纳时间，指被行业内企业用户主流采纳应用的时间。大模型在自动驾驶中尚处于辅助角色智能座舱场景价值案例对比 过去：人车互动限于特定娱乐、驾驶场景 现在：人车互动场景扩展至开放域 预期：改善体验，基于互动产生新收入 实际：新收入来源尚未实现自动驾驶场景价值案例对比 过去：人工标注数据覆盖 现在：大模型自动完成标准 预期：降低成本 实际：数据标注外包成本下降场景价值案例对比 过去：仿真库基于历史数据持续积累 现在：大模型自动生成仿真场景，覆盖Corner Case 预期：低成本丰富仿真库 实际：测试进程中，尚未落地药物研发依然药企场景中的皇冠明珠生成类大模型带来的场景价值变化决策类原生应用注：主流采纳时间，指被行业内企业用户主流采纳应用的时间。变革性高中低1年内实现1-3年实现3年以上实现场景价值主流采纳时间临床应用规划及推荐AI药物研发临床试验文档管理虚拟医生AI药物研发场景价值案例 基于大模型进行靶点发现、药物分子筛选、药物分子优化等，预测药物与靶点蛋白的相互作用 预期：提高研发效率，降低研发成本 实际：尚未实现，未知虚拟医生场景价值案例 过去：虚拟医生做简单导诊 现在：大模型基于病例给予诊疗建议 预期：辅助不发达地区医生诊疗 实际：尚未实现，未知大模型对药物研发带来跨越式价值提升，商业化落地仍需时间临床试验文档管理场景价值案例 过去：人工撰写eTMF 现在：利用大模型自动生成临床试验文档 预期：提升效率 实际：尚未实现，未知临床应用规划及推荐场景价值案例 过去：基于人工经验进行规划 现在：基于大模型生成药物临床试验设计思路、统计方法等 预期：辅助专家提高效率 实际：尚未实现，未知大模型在企业内部落地形式，当前以直接调用通用大模型能力为主通用大模型中间层Prompt+思维链指令微调（SFT）应用层SaaS应用/传统软件工具+服务团队行业大模型中间层Prompt+思维链指令微调（SFT）应用层SaaS应用/传统软件工具+服务团队基础大模型行业/企业知识库目前在企业内部有两种落地方式：1）直接调用通用大模型的能力；2）用行业数据集训练基础大模型，形成行业大模型。如何决定落地场景、测试性能、本地化部署均是重要关切问题AI/大模型应用场景梳理场景落地顺序规划首批测试场景的大模型性能测试API调取/本地化部署决策提示词工程（预处理）大模型与小模型结合应用测试与上线关切问题1：如何决定场景落地顺序？关切问题2：如何进行性能测试？关切问题3：本地化部署大模型如何选型？性能合规性价Vicuna-13B性能合规性价BloomZ-7B性能合规性价GLM-6B企业内部业务与IT加速融合，加快数字化落地进展企业数字化建设更加敏捷高效IT部门分化成两个部分：1）深入业务的ITBP；2）更新维护大模型等基础设施业务部门1IT部门IT开发团队ITBP1大模型+零代码平台产品经理/项目经理业务部门2业务部门3业务部门1业务部门2业务部门3ITBP2ITBP3IT部门30大模型对科技厂商的价值大模型在数据分析、营销、办公的落地进展及案例大模型在科技厂商的落地进展大模型对于科技厂商有三方面价值提升内部生产力增强产品能力重塑产品和商业模式n 研发：代码生成，数据标注n 营销：营销内容生成n 交付：代码生成n 培训：知识库问答n 优化产品功能和易用性，提升客户体验和满意度n 自然语言交互降低用户门槛，拓展用户群体n 开发新功能，拓展能力边界和客群n 发掘大模型原生应用场景需求，开发全新产品n 基于新产品，实现按调用量收费等新商业模式大模型能力当前普遍处于前两个阶段，更大价值预期在大模型原生应用当前进展潜在价值RPABI知识管理低代码机器学习大模型生成能力对于提升科技厂商内部生产力价值明确：图片、文本等营销内容生成，代码生成，数据标注与数据合成。大模型增强产品能力有初步进展：1）Copilot 类应用成为“标配”：利用大模型对话、生成等能力的 AI 助手，降低用户使用门槛，提升产品易用性；2）增强小模型效果：AI 厂商（如智能客服、知识管理）借助大模型在文本等任务中的优异表现，增强产品能力；3）开发新应用：AIGC 厂商（如数字办公）利用自研或外部大模型能力，开发新的 AIGC 应用。新商业模式处于探索阶段，预期在大模型原生应用1）现有产品能力增强不足以产生新订单和提升客单价，需要开发大模型原生应用产品；2）AI 对服务效果和效率提升预期显著的应用（客服、营销等），未来有机会产生新的商业化收入；3）能够帮助企业节省算力投入的AI基础软件，未来有机会产生新的商业模式。营销客服AIGC办公HRIT运维BI：对话式交互促进数据分析平民化，智能洞察将进一步提升价值通用大模型自然语言交互业务用户SQL 生成BI平台行业大模型Prompt+思维链指令微调+模型蒸馏当前进展应用场景：对话式交互：传统 NLP to SQL 准确性不足，大模型增强后，增加对常识的理解，避免显而易见的答非所问，提升了用户意图识别准确性。预期价值：显著增强对话式交互能力，降低 BI 使用门槛，促进数据分析平民化，增加用户数量。实际价值：功能可实现，但企业用户额外付费意愿较低。潜在价值智能洞察：利用大模型的理解和生成能力，辅助业务人员，对查询的数据进行分析并生成业务洞察，提升数据分析能力和效率。报告生成用户数据源低代码平台：智能开发助手进一步提升效率，应用生成实现周期长通用大模型智能开发助手Prompt+思维链自然语言交互业务人员API 调用低代码平台拖拉拽/编写代码专业/半专业开发者数据模型生成表单生成脚本代码生成自动化配置提示内容生成组件当前进展应用场景：智能开发助手：基于大模型的生成能力，在使用开发过程中提供自动生成数据模型、表单、脚本代码，以及基于对用户意图的理解自动推荐配置等能力。预期价值：提升专业开发者的开发效率。进一步降低门槛，普通业务用户无需培训即可使用低代码搭建简单应用。实际价值：可实现部分功能，企业用户额外付费意愿较低。潜在价值应用生成：利用大模型的理解和生成能力，理解复杂应用开发需求文档，调用低代码平台组件化能力直接生成复杂系统。当前大模型的尚不满足所需推理能力，实现周期较长。营销：内容生成显著降低服务成本，千人千面效果有待提升企业知识库（商品、素材）市场人员提示词Prompt通用大模型理解查询反馈生成内容用户用户A用户B用户C用户D品牌商素材A素材B素材C素材D当前进展应用场景：营销内容生成：传统模式下需要设计师根据客户需求在素材库中搜索素材，并进行设计。基于大模型文生图能力，可以根据需求描述查询所需素材并自动生成不同风格的营销内容。预期价值：降低服务成本。实际价值：显著降低设计师人天服务成本，提升产能。潜在价值面向消费者的个性化营销内容，传统方式是基于一组标签的用户群创作文案、图片等营销内容。基于大模型的理解和生成能力和较低的成本，未来可以实现基于每个用户生产个性化的营销内容，提升销售转化率。当前落地来看，效果提升尚不明显，需要进一步优化。客服：大模型增强交互能力，未来有望重塑客服产品形态当前进展应用场景：交互能力增强：相比基于传统 NLP 技术的智能客服，基于 GPT 类大模型的客服机器人的交互能力和推理能力更强，回答更精准、更详细。预期价值：提升一次接通成功解决率等指标，提升客户体验。实际价值：测试表现优于传统智能客服，且无需训练成本，但出于合规考量尚不能开放对客服务。潜在价值完全基于大模型能力的新一代智能客服产品。传统 NLP 技术大模型人工知识构建企业知识库对话交互对话交互问答问答用户用户训练导入通用大模型中间层 Copilot/助手Prompt+思维链自然语言交互API 调用用户文档会议IM自动执行自动调度办公：生成能力赋能办公全流程，革新交互体验辅助内容创作会议纪要生成会话摘要生成问答机器人自动待办日程当前进展应用场景：基于大模型更强的生成能力，提供一系列内容生成功能组件。基于自然语言交互的办公自动化与工作流集成，根据办公流程自动调度各类应用。预期价值：提升用户内容创作类工作的产能与质量。提升用户办公效率。实际价值：预览版功能体验良好，但普遍尚未开放给所有用户使用，海量用户开放使用将带来较大成本开销。海外市场大模型原生应用案例：对话式电商CDP+MALLMWhatsApp个性化营销内容导购收银智能客服OpenAI GPT 3.5自然语言交互理解对话生成数据+业务逻辑 应用：基于大模型对话式交互能力的零售新渠道，营销互动、导购收银、客服一站式服务。解决方案：底层调用大语言模型实现对话理解和生成，并与 CDP 和 MA 系统对接，实现与用户数据和业务逻辑的打通，前端交互基于社交平台。商业模式：基础模块订阅费用+按交互对话轮次计费，ARPU 数万美元（对应数万会员量）。Jul 2023专 注 数 字 化