人工智能大模型研究分析报告.pptx

2023/9/14,#,#,2023/9/14,#,#,人工智能大模型研究报告,2023,年,9,月,人工智能大模型研究报告,人工智能大模型（,AI,大模型）：,利用大规模数据和复杂网络结构构建的庞大神经网络模型，是在智算算力驱动下的重大创新，具备“通用智能”的雏形。从传统,AI,模型的量变引起大模型的质变，生产力由此得到质的飞跃,基于少量规则的数据处理,机器学习,深度学习,卷积,神经,网络,循环神经网络,生成对抗网络,20,世纪,50,年代,20,世纪,80,年代,20,世纪末期至,21,世纪初期,AI,大模型,Chat GPT,AL,BERT,Big Bird,回答问题,撰写文章,文本摘要,语言翻译,代码生成,图片,/,音视频生成,量变积累,质变飞跃,生成式,AI,大模型源于机器学习、深度学习等的积累，最终形成针对人类反馈信息学习的大规模预训练模型,2017,年起,2017,Google,提出,transformer,，成为,GPT,发展的基础,2018,OpenAI,发布,GPT-1,模型，标志预训练模型在自然语言处理领域的兴起,OpenAI,发布,GPT-2,谷歌,BERT,模型发布,2019,2020,OpenAI,发布,GPT-3,有,1.75,万亿个参数,OpenAI,发布,GPT-3.5,并打造,ChatGPT,Midjourney,、,stable diffusion,等模型问世,2022,国内,:,百度发布文心一言,阿里发布通义千问,商汤发布日日新,科大讯飞发布星火认知,云知发布山海,昆仑万维发布天工,3.5,华为发布盘古,2023,国外,:,OpenAI,发布,GPT-4,微软打造,New Bling,Windows,全面集成,Copilot,谷歌退出,PalLM2,Meta,发布,LLaMA-13B,颠覆传统的人机交互方式，重新定义产品体验和竞争力,赋能产品全生命周期，辅助人工 替代人工，工作方式变化 生产力飞跃,算法与统计工程阶段,基础奠定与突破阶段,预训练模型兴起与革命阶段,大模型崛起与应用拓展阶段,人工智能大模型研究报告,人工智能大模型特点：,具有参数规模巨大、表达能力强、预训练与微调、上下文理解与生成能力强、资源和计算开销大等特点,相较传统,AI,模型，,AI,大模型本质区别在于：,自学习、生成式、强泛化,传统,AI,模型,机器学习、深度学习,难适应复杂的语言现象和应用场景,大量,人工标注,数据库,AI,大模型,基于,Transformer,架构的生成式预训练模型,微调模型，即可适应不同的语言现象和应用场景,基于模型,人工,设计的特征和规则,简单地理解、表达,训练集相关的信息,对算力的需求不及大模型,大量,无标注,数据库：论文、新闻、诗歌、代码、图片、音频、视频等自然数据库,端到端训练，自回归反向传播,自动学习、优化、迭代,，几乎无人工干预，更精准,学习训练集的通用规律、语义信息、复杂特征、模式，,具备极强的通用和泛化能力,需要,强大的算力,支撑,大模型增强了传统,AI,的泛化性、通用性，具备更强的自学习能力和生成能力,人工智能大模型研究报告,政策和产业需求双轮驱动着中国大模型的飞速发展,预训练大模型通过强大的通用能力和泛化能力,为,AI,面临的落地难等问题提供了新的思路,推动中国成为全球主要的人工智能创新中心。,新一代人工智能发展规划,是中国政府发布的首个人工智能国家级战略，提出了,2020,年和,2030,年的两个阶段目标，旨在抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国,国家互联网信息办公室发布,生成式人工智能服务管理办法（征求意见稿）,。,提出，国家支持人工智能算法、框架等基础技术的自主创新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数据资源。同时，生成式人工智能产品提供服务前需申报安全评估,更多地方政府出台推动大模型技术发展政策举措。,包括北京、上海、深圳等纷纷出台政策举措，围绕人工智能大模型加快创新步伐，开展大模型创新算法及关键技术研究，探索通用人工智能新路径，打造人工智能创新高地,随着人工智能技术的不断成熟，大规模落地问题成为企业关注重点，目前阻碍,AI,落地的原因主要在数据量不足、模型复杂度高、算力不足等方面。,数据模态多维，质量参差不齐：,获取大量高质量的数据是实现,AI,应用的关键前提。但中长尾企业通常面临数据量不足、数据质量差、数据格式不兼容等问题，对于模型的训练效率和输出效果都有直接影响。因此，高质量的数据是,AI,企业最宝贵的资源之一,算法模型开发、优化难度大：,AI,算法模型的研发和优化过程非常复杂，通常涉及到多个学科领域，如机器学习、深度学习、统计学、计算机视觉等，需要不同领域的专业人才，而当前中国人才缺口较大,算力资源不足，投资成本过高：,AI,应用需要大量的算力资源，特别是,GPU,，需要通过,GPU,提高模型的训练和推理部署速度。购买算力需要资金支持，中小企业往往很难承担投资压力,政策,产业需求,人工智能大模型研究报告,人工智能大模型市场规模：,2020,年起，大模型在涵盖了自然语言处理、计算机视觉、语音是被等多领域表现出卓越性能，行业广泛关注，推动市场迅速扩大,全球市场：,2023,年市场规模将达到,210,亿美元，,2028,年将达到,1095,亿美元,中国市场：,2023,年市场规模将达到,147,亿元，,2028,年将达到,1179,亿元,在国家的支持、投资，科技企业的积极推动下，加强人才培养引进，促进产学研用，为中国大模型的发展提供了强有力的支持,大模型技术赋能智能座舱变革：,交互方式产生颠覆性变革，情感属性更加情感化、拟人化；拥有更高效的交互、更好的记忆力、更贴心的体验；让座舱更加理解人、解放人 成为更智能的用户第三空间,生产力与生产方式的变革,辅助人工 替代人工,人机交互的重塑,如同人与人之间的互动,在大模型的驱动下，座舱人机交互的潜力进一步释放，产品开发效率将显著提升 加速智能座舱竞争力的重构,人工智能大模型研究报告,大模型赋能核心,座舱,产品,体验,座舱,技术,开发,交互,优化,主动,服务,数据,标注,场景,打造,硬件堆砌曾意味着智能化,语音助手只有简单的问答与控制,被动：人找服务,先有需求，后有服务,成本高、效率差、质量参差,人工标注为主（,98%,机器为辅,粗泛场景批量式上车,痛点没抓住，功能冗余（成本高）,自然、情感化、个性化的人机交互成为核心,强大的语义理解 生成能力 多模态信号处理 智能助手核心,主动：服务找人,个性化需求 精准服务 拓展服务可能性 双赢,大模型训练将引领数据标注走向自动化,AI,自动标注为主 少量人工 解决大规模供应和成本效益的矛盾,精准、自动化的场景设计与生成,基于用户需求自动设计场景 动态持续更新 精准的产品开发,传统,大模型赋能,大模型技术赋能智能驾驶变革：,从算法、数据闭环、仿真等维度全面推动自动驾驶技术进步,人工智能大模型研究报告,自动驾驶技术发展的趋势与痛点,大模型赋能自动驾驶技术进步,算法的结构与部署方式显著变化，但模型算法需优化,结构：基于规则的算法 基于深度学习的算法,部署：模块化部署 端到端一体化部署,性能：感知、预测、决策、规划模型的精度、可靠性均有提升空间,大模型作为车端算法的“老师”，训练小模型,感知端：使用完成预训练的大模型自动化训练小模型，可广泛应用,于视觉感知模型、多模态感知模型等,规控端：将外部环境数据语义化，作为预训练数据输入模型，训练,模型预测未来情景演化的能力,数据闭环自动化水平待提升,数据：数据挖掘、标注、处理、分析自动化高效运行决定模型能否,由数据驱动持续迭代,主要挑战：长尾问题应对，仿真工具能力待完善,长尾：诸多罕见的长尾场景需要算法识别和处理边缘场景概率低，,却无法忽视，且难以预测，更难以应对,仿真：逼真环境的构建、诸多长尾场景的复现难度大,大模型的精准识别、数据挖掘、数据生成能力,使自动化数据闭环,大模型可生成海量可训练数据，拓展仿真工具能力，有效应对长尾问题,用大模型生成真实的交通场景以及困难样本，来训练自动,驾驶系统，提升系统对,Corner Case,场景的感知能力上限,智能驾驶有望实现感知决策一体化，智能驾驶和智能底盘潜力将进一步释放，竞争将围绕大模型重构展开,研发,体验,智能驾驶,驾驶风格,+,环境,智能底盘,“柔性”更强,在,ODD,内按控制逻辑运行,在,ODD,内按车辆规控模型行驶，人机互动能,力与环境适应能力差,规则模型控制下的机电系统,可调范围小甚至不可调节，难以满足不同的行驶工况和驾乘偏好,驾驶风格,+,交通环境 智驾系统体验优化,主动学习、识别驾驶员的驾驶风格、道路交通环境，个性化设置规,控模型参数（车头时距、车头间距、加减速度等）,驾乘偏好,+,行驶工况 智能底盘,悬架刚度、转向灵敏度等可根据驾乘偏好、行驶工况动态调节，满,足不同驾乘需求，并一定程度上拓宽车辆的环境适应性,大模型技术上车的挑战与对策：,面临的主要挑战来自数据、算力、安全层面,人工智能大模型研究报告,主要,挑战,大模型国内市场处于开放初期，难以有效利用国内数据针对性地训练,汽车产业内部存在诸多“数据孤岛”，数据难以开放共享,注：,AIGC,大模型参数量在数百亿到数千亿量级，自动驾驶模型仍在十亿量级努力,训练数据体量小,大模型算力需求极高（每秒千万亿次），当前车载芯片及电量难以支撑，云端算力依然必不可少,OEM,很难再有效平衡车辆成本和训练大模型的巨大开支,如何实现模型的轻量化又不影响精度，也是各家秘而不宣的核心,know-how,算力及成本需求高,信息安全限制,如智驾传感器、地图等数据涉及国家信息安全，对数据的出入境管控严格,用户数据涉及个人隐私安全，其确权、开放的合法性存在争议,涉及神经网络的预期功能安全问题，无测试、认证标准，尤其是端到端自动驾驶,大模型上车切忌各自为战，需要产业各方以开放生态思维充分协同实现大模型迭代速度加快、整体能力增强、产品体验提升,以平台化的本土,AI,大模型作为公用基础设施，各方开放共创 生态协同理念,云端,应用端,云端负责数据的收集、处理、传输，并统一化实施有效管控,公有云具备超高算力，承担大模型计算任务,OEM,、车机,APP,、路端等负责：,信息数据的上传 接收；隐私数据的过滤屏蔽,模型轻量化,公有大模型云平台,（数据存储,/,传输,+,大规模计算,+,信息管控）,车端,（,OEM,、单车）,路端,用户端,大模型技术影响下的汽车产业格局演进,人工智能大模型研究报告,1.0,百家争鸣,2.0,：诸侯割据,3.0,：天下大同,各企业应以提高经营管理效率为核心目标,ICT/,科技企业掌握大模型迭代的算力、平台、生态，更有机会掌握主导权,OEM,应以提升产品体验，对于大模型的开发与训练更适合与专业,ICT/,科技公司合作，但至少要掌握功能定义权,大模型遍地开花,各,ICT,企业、科技企,业积极打造,OEM,加速产品创新,通过合作或自研，加,速大模型上车、进厂,主导：强势,ICT/,科技企业,拥有丰富的算力资源和强,大的算法团队,掌握应用服务生态，具备,高效的模型迭代能力,弱势,OEM,直接采用强势,ICT/,科技公,司的集成式解决方案,主导：强势,OEM,掌握基于大模型的功能定,义自主权 提出需求,自建大模型应用开发团队，,但算法研发需要合作,普通,ICT/,科技企业,协助强势,OEM,完成大模,型算法开发、训练,强势,ICT/,科技企业将构筑行业大平台,强者更强：算力资源丰富，应用生态繁,荣 普通公司业务或将被强势公司吞噬,强势,OEM,联合,定义开发,弱势,OEM,争取掌握,定义权,合作形式,1,合作形式,2,科技企业动态案例：百度公布生成式,AI,产品文心一言,人工智能大模型研究报告,车企接入百度文心一言，依托百度多年积累的软件能力快速打造具有竞争力的智能汽车产品，语音交互体验将是主要赋能领域,百度在模型、算力、数据三大方面为文心一言提供技术基础,模型,文心大模型：,具备跨模态、跨,语言语义理解与生成能力,百度飞桨训练框架：,深度学习,开源开放平台，已凝聚,535,万,开发者、创建,67,万个,AI,模型,算力,数据,海量数据积累：,百度依托移动,APP,、搜索等业务，积累海量真,实文本和用户需求数据,大规模结构化、非结构化数据支,撑文心一言充分预训练,云计算：,百度在阳泉、徐水、,定兴三地建立自用云计算中心，,可满足高并发、高弹性、高精,度等不同计算需求,AI,芯片：,百度自研昆仑芯片已,在多场景实际部署数万片,多家车企已宣布通过百度智能驾驶,Apollo,接入文心一言，打造领先的智能汽车体验,合作车企：集度汽车、东风岚图、长城汽车、东风日产、哪吒汽车等,生态合作伙伴：高科数聚、诚迈科技等,合作内容：打造基于智能出行场景的大模型人工智能交互体验，包括：自动驾驶、语音交互、,OS,等,科技企业动态案例：华为基于盘古大模型,3.0,，,发布自动驾驶领域的场景生成大模型、场景理解大模型、预标注大模型、多模态检索大模型，且可帮助企业打造自己的,AD,大模型,人工智能大模型研究报告,盘古大模型,3.0,在自动驾驶领域重点赋能数据闭环 实现算法迭代的降本增效,盘古大模型面向多行业，通过三个训练阶段，赋能各个行业实现智能升级,AD,领域的大模型应用仍处早期阶段，一方面量产合作客户少，另一方面算力成本高昂，华为及其他,AD,公司仍需时间落地验证及进一步降本,预训练,利用海量数据进行预训练得到通用基础模型,重点聚焦计算机视觉领域,微调,针对下游不同行业，结合行业数据进行微调,包括金融、制造、矿山等,模型,迭代,结合新数据反哺迭代,实现大模型的终身学习,针对自动驾驶场景,数据,算法,场景理解,自动理解视频内容，形成产品化管理 自动筛选高价值场景,数据标注,进行,2D,、,3D,高精度自动标注 降低,90%,标注量，标注效率提升,35%,左右,场景生成,完善障碍物素材库，结合天气、昼夜、季节等因素按需构造边缘场景,算力,在认知、感知、决策、优化等方面赋能,实现算法加速,基于昇腾,AI,云服务，优化,AD,算法，实现千卡训练数月不中断,实现算力加速,车企动态案例：广汽退出,AI,大模型平台，,聚合多种,AI,大模型，支持支持调用通用大模型，可基于智能汽车应用场景构建专用模型，预计近期搭载昊铂,GT,落地,人工智能大模型研究报告,大模型将率先赋能智能座舱，尤其是语音交互体验，基于海量数据创造 优化场景，使其更贴近用户生活、用车习惯，从而全面提升智能化体验,应用层,模型层,AI,中台层,数据层,智能座舱系统,座舱控制,智能语音,内容创作,文本概括,智能场景,试听生态,其他系统,目标检测,图像分类,语音交互场景,率先落地,语义理解能力,：结合各种模型优势，运用车端本地推理能力 云端混合模型技术，精准理解上下文,交互情感化,：基于环境和情绪状态感知，结合场景，对话更“类人”,视觉大模型,NLP,大模型,多模态,大模型,专用模型,模型底层,能力库,主流训练,框架,识别调度,系统,并行推理,系统,多模态座舱数据,驾驶行为,数据,汽车感知,数据,研发数据,用车出行场景,用车助手,：覆盖全场景用车服务，用户可便捷获取使用指南和操作入口,行程规划,：基于用户偏好、位置、环境感知、生态服务等，精准匹配用户出行需求，自动生成规划路线,其他座舱场景,内容生成,：自主创作，分析并提炼信息,计算能力,：结合大语言模型和计算引擎能力，可解析数理问题 含推理运算过程）,车企动态案例：理想自研认知大模型,Mind GPT,，,打造新一代多模态人机交互技术体系，支撑以语音交互为第一交互方式的空间交互,2.0,功能落地,人工智能大模型研究报告,基于,Mind GPT GPT,，理想语音交互的理解和表达能力在用户使用过程中逐步提升，座舱交互向个性化、主动交互、自然交互发展 用户体验越用越好,智能交互,关键能力,1.0,：以触控为主,2.0,：以对话为主,故事生成,根据关键词自动生成并播报故事,数学推理,根据问题自动给出解题过程及答案,任务创建,根据描述自动创建 执行整车任务,出行规划,根据行程自动提供出行规划建议,1.0,：以触控为主,2.02.0,：以对话为主,知识,图谱,针对理想用户用车场景建立,LiKG,知识图谱，确保知识准确性,知识增强,调用,工具,智能规划任务，独立完成擅长部分，调用外部,API,和专用模型解决不擅长部分 拓展能力边界,记忆,能力,通过自带记忆网络让理想同学基于历史对话记住用户习惯和偏好 读懂用户状态,学习,能力,借助在线强化学习，基于反馈和纠偏不断迭代自身能力 成长进化,新一代多模态人机交互技术体系,空间交互,2.0,视频,音频,文本,Mind GPT,多模态感知,算力中心,各类大模型,专用模型,API,中心,文本、视觉等,API,接口,大模型支撑能力,算力,大模型训练能力,数据,大模型数据能力,人机对齐,符合法律法规、价值观,整体评估,可评估模型能力、风险,记忆网络,在线,强化,学习,规划,调度,执行,生成,