分享
分销 收藏 举报 申诉 / 28

类型面向生产服务的大模型评估体系探讨.pptx

  • 上传人:唯嘉
  • 文档编号:14494478
  • 上传时间:2026-09-28
  • 格式:PPTX
  • 页数:28
  • 大小:3.83MB
  • 下载积分:18 金币
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    面向 生产 服务 模型 评估 体系 探讨
    资源描述:
    ,面向生产服务的大模型,评估体系探讨,邓超,中国移动研究院 2024年1,月,1,一、,中国移动大模型,布局及进展,二、,中国移动大模型评估体系,三、九天客服大模型应用评估实践,2,+,200B+,多模态/跨模态大模型,视觉大模型,语音大模型,结构化数据,大模型,政 务,社会综治 医 疗,企业通话 交通运输 能,源,语言,大模型,客 服,+,3,中国移动自主构建语言、,视觉、,语音等多种类型大模型,,,具备跨行业供给侧增强、,高可控性、,异构软硬件灵活,部,署几大显著的技术特色,,整体性能指标实现国内主流水平,,能更好满足企业全场景全部署的大模型,落地需求,特 色,三,特,色,二,高可,控,性,3B/,7B/,13,.,9B,/,57B/,100B+,9B,2B 6B,13B 100B+,200B+,特,色,一,语言大模型 视觉大模型,语音大模型 结构化数据大模型 多模态大模型,在71%的中文测试集主流指标上,超过业界同等参数规模模型,,,多 种 类,型,基,础,大,模,型,4,以九天基础模型为基础,,联合通信、,能源、,航空等行业的骨干企业,,共建共享九天众擎基座,大模型,,加速国民经,济主体行业的智能化转型升级,,促进我,国战略性新兴产业发展,,,带动我国整体生产力提升,基础大,模型,提供基础,行业大模型,客服 政务 医疗 交通 时空 家庭,物联网,持续学习行业规范与知识,复杂系统,AI,及强系统集成能,力,强信息集成能力,高动态自适应,高准确率,强任务主导性,符合生产指标,高可靠性,强理解能力,强生成能力,社会综,治视觉,储能,司法,金融,风险,行业,通话,网络,运维,网络,运维,专业数据,文体,符,6,构建网络,AI,大模型,,,实现从,“,网络+,AI,”,向,“,AI,+网络,”,转变,,,降低,AI,赋能网络的边际成本,,,指数级扩大赋能成效,为网络智慧内生提供,AI,核心,基座,,,助力网络与,AI,全面,、,深度融合,2023年中国移动合作伙伴大会上发布网络大模型1.0,,优先服务四大场景,,驱动向,“,AI,+网络”全面演进,基于网络大模型的网络运维,AI,助手正式上线中国移动,MOA,网络运维中心2个应用场景,,端到端准确率达88%以上,挑战,多模态、异构数据统一聚合,网络大模型(,JT,-,Net,),极优网络,品质,极佳资源,效率,极省运维,成本,极简一线,作业,极速业务,交付,复杂系统,智能化,数据,异构性,多模态,融合,演进,理念,自然,语言,图像,语音,结构化,100%,语音,95%,40%,图像,60%,结构化,大模型对现有模型替代,复杂跨模态能力,体系化,AI,:分层多智能,体协作,网元,智能体,网元,智能体,网元,智能体,网元,智能体,网管智能体,NLP,九天,海算政务大模型是中国移动基于近年来积累的丰富数字政府建,设经验所打造的面向政务领域的行业大模型。,九天,海算政务大模型面向政,务领域特殊性,融合了三大特色:深度行业智能,、,政务信息场,、,多元式交互,.,深度行业智能,政务政策-政务事项-政务数据存储,深,度贯穿,模型驱动整体业务流,程,灵活易用,一网通办,一网统管,一网协同,政策咨询 数据分析,公文写作,事项办理,舆情洞察,智能流转,.,政务信息场,汇聚散落的关联数据,政务流程不出“场”,,安全可信,.,多元交互模式,政务多交互方式融合,TOD+大模型+GUI,,智能便捷,九天,海算政务大模型,数,据,政务大模型,政务,信息场,政,策,事 项,流,程,2023年世界人工智能大会上,,发布了九天海算政务大模型,,,已落地应用于黑龙江,省数字政府项目政务智能客服、,智能搜索、,数字人、,公文辅助写作等应用场景中的,落地验证,面向企业级智能客服场景,,,基于10086服务近十亿客户的,海量客服数据,、,业务知识和服务经验,,,打造九天,客服大,模型,,,让每个用户都拥有24小时在线的,“,专属管家,”,,,极大提升客服工作效率和用户体验,面向客户服务全场景的行业大模,型,知识采编,热点话题挖掘,.,.,.,.,.,.,智能点选,智能摘要,.,.,.,.,.,.,业务办理,情感关怀,.,.,.,.,.,.,面向客户 面向客服 面向运营,业务咨询,基础大模型,100B+,13.9B,数据,客户画像,投诉分析,智能质检,业务投诉,话术生成,业务数据,服务日志,知识库,57B,API,+,2023年中国移动合作伙伴大会上,,,发布了首个基于客服行业大模型的智能客服产品,,,实现大模型客服领域应用破,冰已在北京,、,广东等试点省,份生产上线,中国移动10086客服,焕新升级,中国移动,app,打造全新交互体验,工,业,交通 政,务 司,法,安防 .,.,.,基于体系化人工智能的算、,网、,智一体化服务运营,AI,原生应用,模型自动评测,九天行业大模型,算力 数据 平台 小模型,核心技术,构建以平台和大模型为核心的智能基座,,,成为通用人工智能时代泛在智能,的供给者,、,汇聚者和运营者,,,全面实现,AI,+转型升级,运营者,汇聚者,供给者,供给者:为产业,提供智算、模型、平台等资源及服务,汇聚者:广泛,汇聚国内外优质模型、数据、工具链和AI原生应用等,运营者:算、,网、智等AI+应用的一体化服务及生态运营,客,服 家,庭 通信 管,理,.,.,.,九天通用大模型,大小模型协同,数据汇聚,模型体验,安全审核,数据集,大模型,小模型,面向生产服务需求,,,汇聚业界优秀的通用和专用大模型及能力,,,建立,“,多层次,-多,维度,-多任务,-多指标,-多模式,”,的,大模型评估体系,,,确保汇聚的大模型安全,、,优质,、,高效,,,推动大模型产业规范化发展,理解,生成,认知,推理,多模态序列转换,.,百川-7B 百川-13B 百川2-13,B,Yi,-32,B,Belle,-7,B,Belle,-13,B,Bloomz,-3,B,Bloomz,-176,B,ChatGLM,-,6,B,Chat,GLM,2-6B,GLM,-130,B,D,n,LLaMA,-7,B,LLaMA,-13,B,LLaMA,-33,B,LLaMA,-65,B,GPT,-,NeoX,Dolly,Falcon,-40,B,Moss,o,e,i,l,u,a,iff,St,模型汇聚与承载,模型评测与安全审核,开源大模型 第三,方大模型,自动评测,+人工评测,性能指标,客观,:准确性、鲁棒性.,主观,:准确性、安全性.,.,输入问题的安全,模型结果安全,自研大模型,服务成熟度,实时性 并发性,稳定性,功能指标,任务支持度,场景支持度,构建承载平台,,,提供,一体化,、,全流程的汇聚服务,九天平台已汇聚开,源模型20+个,承载开源,、,业界领先的通专模型及工具,客服大模型,视觉大模型,大小模型端云协同,政务大模型,语言大模型,多模态大模型,行业大模型,训练数据安全,主观感受,意图识别,域内知识,域外幻觉,入驻标准,安全审核,模型测评,意图识别,拟人程度,AI 原生应用,交互,推理,感知,交互,工具链,小模型,答案有效,.,.,二、,中国移动大模型评估体系,三、九天客服大模型应用评估实践,一、,中国移动大模型,布局及进展,14,智能助理,数据分析,知识管理,智能客服,数字人,混合多模态,音视频领域,图文领域,其他行业模型,网,络,运,维,大,模 型,政务大模型,客服大模型,体验评测,领域评测,专项评测,基础评测,面向生产服务场景,建立语言大模型,、,行业大模型,、,多模态大模型,、,智能体应用,、,安全评测等,五大评测基,准,,,围绕,评测数据,、,指标,、,方法与分析,三大建设方向,,高效开展综合全面的大模型评估评测。,模型注册 模型管理 评测任务管理 评测场景管理 评测指标汇聚 评测数据管理 评测,报告分析 模型能力排行,5大类评测指标,性能指标,服务成熟度,自动评测,+人工评测,可视化报告,自动化分析,基础数据,专项数据,行业数据,安全数据,数据看板,ELO排行,功能指标,业务指标,评测,乎台支,撑,可视化展示评测结果,2千+簇评测数据集,五大,基准,三大,建设,评测,平台,模型安全,信息安全,伦理安全,内容安全,个人隐私,商业机密,理论支撑,技术支撑,价值观对齐,政治敏感,违法违规,偏见歧视,模型接入生产系统时,,,需要经过一系列,“,全面考验,”,,,接入生产开始服务后,,,要开展,“,持续考验,”,,,根据用户市场真,实反馈,,,形成动态反馈机制持续优化提升大模型的落地成效,自动评测,+人工评测,面向生产的模型评估,性能指标,客观,:准确性、鲁棒性.,主观,:准确性、安全性.,.,自动评测,+用户评测,+业务专家审核,性能指标,客观,:准确性、鲁棒性,.,主观,:准确性、安全,性.,输入问题的安全,模型结果安全,服务成熟度,实时性 并发性,稳定性,服务成熟度,实时性 并发性,稳定性,功能指标,任务支持度,场景支持度,客服大模型,视觉大模型,政务大模型,语言大模型,行业大模型,多模态大模型,训练数据安全,准确性、应用性,灵活性、适应性,专家评测,用户评测,多样性、代表性,结果分析,结,果,收,集,特定场景评测,意图识别,答案有效 拟人程度,反,馈,优,化,主观感受,意图识别,域内知识,域外幻觉,多模态序列转换,.,持续考验,第二阶段,第一阶段,全面考验,理解,生成,交互,推理,认知,推理,感知,交互,持续,评测,迭代,优化,问题解决率,回复专业性,主观感受,.,.,整体目标,:,构建覆盖训练数据,、,模型输,入和输出的审核体系,审核机制,:,建立审核标签体系,,,对数据进行变体词识别等预处理后,,,通过多个模型标记审核标签,,,给出回答建议,模型输出数据,判断,接口调用,识别结果,内容审核,内容审核,接口调用,识别,结果,训练数据判断,九天大模型,结果输出,内容审核,输入数据判断,用户输入,九天大模型,接口调用,训练数据,识别结果,17,打造大模型评测平台,,,通过分层架构设计,,,增强其扩展性和灵活度,,,实现一键注册,、,快速评,测,、,智能分析的大模型,标准化评测流程,模型注册,准备模型信息,模型评测,发起模型评测,通过评测任务管理历史评,测项。,支持prompt模板配置、,自动化打,分、人工审核校验,覆盖基础评测、专项评,测、领域,评测、体验评测等4大评测,维度、,2000+个评测场景,数据集,灵活快速接入业界多种类大,模型,支持最大tokens数、并发线程、,引导开关等配置项,基于准确性、鲁棒性,、公平性、安全性等多维度量化,打分,,支持,评测榜单快速查看,相对评估,,消除差异,动态调整,,确保准确,性、,适应性,可扩展性,,适应不同数量和类型,批量起聊,自动多轮对话,自动数据填充,,,自,动场景打分,支持,PaaS,平台,支持,MaaS,平台,承接更多对外服务,支持图生文,支持文生图,更多能力支持,查看报告,查看模型评估报告,数据准备,准备评测数据集,标准化评测流程,多功能支持,5大,类评测指标:,准确性、鲁棒性着重指大模型的,功能,、,稳定性,表现,安全性、公平性着重指大模型的,非功能,表现,高效性着重指大模型的,响应时延,、并发度,4大,评测维度:,基础评测、专项评,测、领域评测、体验评测,600+,评测场景:,例如学术任务场景、创作写作、事实知识、计算、,逻辑推理、闲聊、安全、,自我认知,等,海量,评测数据集:,2000+簇,评测数据集,开源数据集:,涵盖CMMU、CEVAL、AGI、GAOKAO、,MMLU等,自建数据集:例如,安全类,数据集3万+条,,央企特色,数据2万+条,以语言大模型为出发点,,,建立评测基准,,,已形成,4大评测维度,、,5大类指标,、,600+个评测场景,、,2000+簇评测数据集,评测维度,评测数据,评测指标,行业大模型评测与通用大模型评测不同,,,行业大模型更加,专注于行业领域知识和实际应用,,,为此行业大模型评测应,深度融合行业特色,,,评估大模型的高级理解,、,生成能力,,,如意图识别,、,意图改写和话术润色等,,,从而系统评估和分,析行业模型的性能,、,准确性,、,适应性和实用性,,,确保模型满足行业标准和实际应用需求,高频,/,低频标签,.,真实场景映射,.,质量控制,业务适应性,理解能力,样本多样化,广泛覆盖,知识能力,生成能力,多样性和代表性,准确性和实用性,灵活性和适应性,世界知识 行业知识,社会常识 生活常识,灵活性,全面性,可靠性,安全能力,.,动态抽样,自动评测,用户侧,信息抽取,内容安全,隐私安全,对话状态判断,业务安全,意图改写,.,情绪识别,意图识别,文章创作,摘要生成,关键词生成,动态更新,反馈适应,.,润色度,信息场对话,人工评测,交叉验证,专家审核,可解释性,结果,一,致,趋势适应,可复现性,多样性,客观事实,业务侧,技术侧,.,三、九天客服大模型业务应用实践,一、,中国移动大模型,布局及进展,二、,中国移动大模型评估体系,21,率先应用在1008,6全球最大的客服系统,,驱动客服领域行业应用破冰。,稳健性与灵活性联合优化,强系统集成,多元多级高可控性,开创人机协同新模式,用户体验,Min,(,T1+T2+T3+T4),服务效率,Max,(工具和知识边界),技术要求,业务能力,服务目标,拟人化,强洞察,多模态,22,面向10086智能客服,系统生产级别上线要求,,建立多维度、,多层次的客服大模型评测体系,,确保评测的完备性和合理性,针对真实客服场景中面临的安全可信问题,,提出溯源信息场和一致性校验的方案,,,贯穿客服大模型的全流程,,,实现客服回复,内容的可信响应,,保证服务的安全可,控,实现对用户表达、大模,型生成内容,进行双向安全管控,已对接智能在线客,服敏感词库,支持运营人员自定义安全监测、,内容过滤规则,意图理解力,回答准确性,回答完整性,回答及时性,回答友好性,回答安全性,意图理解任务,平均响应时间,对话状态判断,非拒识交互占比,信息抽取任务,情绪识别任务,九天客服大模型的迭,代演进效果,安全能力:,6大维度,,,34个细项,,80个,细分小项,客服人员完成多轮业务评测和多轮技术评测。,安全管控工具:,解决不该答的不,答问题,对标九天客服大模型,行业水平,横向比较,用户提问,安全监测,内容过滤,传统机器,人回复,大模型,回复,构建大模型评测体系,六维度技术评测,六维度业务盲测,搭建大模型测试工具,纵向跟踪,安全回复,不通过,不通过,通,过,通,过,23,解决复杂系统智能化体系,大而,不稳的挑战。,系统和用户双驱动对话模式,的,灵活多样性。,交互模式升级,单一界面 360度全方位提前,想你所想,情感关怀,数据精标及增强,人人对话数据精标,动态用户属性数据和,业务知识补充,客服知识融入基础模,型、进阶式学习,,访,问增强,服务中双方情感流动,,拟人化,思维链逻辑增强,预训练行业基座,主动服务,24,流,程,业务运营工具化,,,与模型底座解耦合,,通过大小模型协同、,信息不出场、,流程嵌入确保整体,准确和可控。,协同进化,大、,小模型,汇聚用户通信属性,关联数据不出“场”,意图识别,话术生成,状态追踪,运营工具,安全可信,大小模型,信息场,简单入口、,现有系统重用和系统伴随,,提供润物细无声的服务。,工,具,.,内部多层级系统集,成,.,外部系统和工具集成,从底层知识库、到接口级别的AP,I、,到系统界面级别的解析,和集成,外部系统和工具集成,,贯通客服,咨询到运营分析全流程,系,统,API接口,知识库,NGCS界面,平,台,从客户-机器人、,客户-客服的单点的沟通,,,升级为客户+大模型+客服三方协同交互。,享受更便捷、更贴心的服务,沟通场,为客户提供咨询查询办理,等服务,为坐席提供实时,转述提示等功能,与大模型进行知识与能力,的补充,提供更暖心、,更舒心服务,客户,机器人,客户,客服,转人工,客户,可与大模型及坐席同时对话,,大模型,客服,善智者,,,动于九天之上,像使用移动通信服务一样使,用人工智能,28,
    展开阅读全文

    开通VIP折扣优惠下载文档

    提示  咨信网声明:本文档由用户上传并分享,仅供学习交流、研究之用,未经授权,严禁复制、发行、汇编、翻译或网络传播等,侵权必究。

    咨信网小贴示:
    1、浏览或下载可查看了解,请点击【咨信网告知】。
    2、下载文件中如有侵权或不适当内容,将立即纠正。
    3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
    4、开具发票登录电脑端申请,请点击【索取发票】。

    咨信网客服组:【微信客服】

    自信AI创作助手
    关于本文
    本文标题:面向生产服务的大模型评估体系探讨.pptx
    链接地址:https://www.zixin.com.cn/doc/14494478.html

    Copyright ©2010-2026   All Rights Reserved  宁波自信网络信息技术有限公司 版权所有   |  客服电话:0574-28810668    微信客服:咨信网客服    投诉电话:18658249818   

    违法和不良信息举报邮箱:help@zixin.com.cn    文档合作和网站合作邮箱:fuwu@zixin.com.cn    意见反馈和侵权处理邮箱:1219186828@qq.com   | 证照中心

    12321jubao.png12321网络举报中心 电话:010-12321  jubao.png中国互联网举报中心 电话:12377   gongan.png浙公网安备33021202000488号  icp.png浙ICP备2021020529号-1 浙B2-20240490   


    关注我们 :微信公众号  抖音  微博  LOFTER               

    自信网络  |  ZixinNetwork