大模型技术及其标准化研究.pdf
《大模型技术及其标准化研究.pdf》由会员分享,可在线阅读,更多相关《大模型技术及其标准化研究.pdf(5页珍藏版)》请在咨信网上搜索。
1、引言国家标准化发展纲要指出要“在两化融合、新一代信息技术、大数据、区块链、卫生健康、新能源、新材料等应用前景广阔的技术领域,同步部署技术研发、标准研制与产业推广,加快新技术产业化步伐。”1当前,在新一轮科技革命和产业变革推动下,人工智能、量子信息、大数据、云计算、物联网等前沿科技加速应用于军事领域,国际军事竞争格局正在发生历史性变化。大模型技术作为人工智能领域的重大突破之一,参数规模和模型性能不断创出新高,逐步夯实人工智能技术底座,加速推进人工智能实用化、通用化和普惠化发展进程。以标准化为重要抓手,全力推进大模型技术创新和融合应用,将成为世界各军事强国推进新军事变革的基本内容,使得信息成为有价
2、值的作战武器和双方争夺的重点,也使得信息在战争中的作用和行为方式发生重大的改变。2 大模型技术的内涵从 2018 年起,预训练大模型成为人工智能领域一大重点研究方向,围绕预训练大模型和基于预训练大模型的人工智能创新应用一次次吸引学术界、产业界和大众的目光。预训练大模型在追求创新算法架构、训练目标、高效训练、模型部署以及多模态应用等方面成为全球人工智能研究者最重要的研究方向,不断涌现更新更强更优的模型和智能应用,现在可称其为人工智能大模型。大模型之所以为“大”,是因为其是“大数据+大算力+强算法”结合的产物,凝练了大数据内在的精华的“隐式知识库”,是实现人工智能应用的载体2。在大规模无标注数据集
3、上完成了自监督的模型预训练,学习数据中蕴含的特征、结构和知识后,将大模型进行微调或无需微调,就可以直接支撑各类应用场景。人工智能大模型是连接人工智能技术生态和产业生态的桥梁,向下带动基础软硬件发展,编辑:胡欣E-mail:电子科学研究院 王 莉 王 鹏 袁 柳Research on Foundation Models Technology and Standardization摘 要 通过大模型技术的发展历史和现状分析,重点探讨大模型技术应用核心问题:大模型技术的内涵、大模型技术的发展趋势、如何构建大模型技术标准体系,为大模型技术未来发展和应用提供引领与参考规范。关键词 人工智能 大模型 人工
4、智能战争 标准体系Abstract:Through the analysis of history and current situation of foundation models technology,focusing on our future information war under the background of the development of foundation models technology several core issues:the connotation of foundation models technology,the development t
5、rend of foundation models technology,foundation models applications in the military field and how to construct standard system;provide guidance and reference standards for the future development and application of foundation models technology in military field.Keywords:artificial intelligence;founda
6、tion models;AI war;standard system大模型技术及其标准化研究技术热点Technical Focus2023 年第 9 期http:/93向上支撑智能应用多业务发展,是整个人工智能生态的核心。李飞飞等人工智能学者将大模型统一命名为“基础模型”,以自我监督性为统一技术特征。基础模型在学习过程中会体现出来各个不同方面的能力,这些能力为下游的应用提供了动力和理论基础。训练大模型已经开启了人工智能科研的大规模工程化模式,作为引领未来智能的重要基础设施,将会在人工智能各个应用领域产生巨大的发展和影响。预训练模型的特征不仅仅是大,更在于它的泛化性、小样本、迁移学习和高性能。相
7、比于之前的特征工程,“预训练+微调”可以大大提升开发效率,通过更统一的方式,让预训练大模型的能力在各行业落地。主要采用如下技术。(1)数据采集及治理。大模型所需的预训练数据模型极为庞大,需要大量由自动化程序收集的数据集,同时要对数据进行清洗、过滤、分类、对齐等治理工作。如通用语言类数据集、专业领域数据集和多模态数据集等,预训练使用的数据集越丰富、质量越高、数量越大,训练获得模型性能越强。(2)模型构建技术。模型参数和数据规模的增加需要更高效的模型构建技术架构,需要设计更好、更合理的模型结构来关联显示和隐式的知识,把显示的知识嵌入到模型结构中,提高模型的准确性。在针对具体不同任务方面也可进行模型
8、架构设计,如知识增强架构、跨模态理解架构或文本-图像的生成式架构等。(3)模型训练优化。预训练模型主要采用自监督学习,从大量无标注语言、数据、语音、图像、视频中学习广义信息及内置结构,并将相关信息内置进预训练网络结构中,广泛应用在机器人、语言、机器视觉领域。典型的自监督学习任务有掩码语言学习、对比学习、相邻性检测学习等多种类型。由于大模型结构复杂、数据量庞大,自监督学习和模型训练优化对提高模型训练效率至关重要。(4)迁移适配部署。大模型的最主要特点在于“预训练+微调”,高效的微调可以将大模型更好的迁移到特定的应用领域中。微调相当于借助少量特定领域标注的样本,唤醒预训练时获得大规模的知识记忆。因
9、此,如何对各个元素的特征空间均能够训练到,方便在迁移适配过程中快速通过少量样本实现微调是需要解决的关键问题。3 大模型技术的发展趋势当前人工智能模型存在很多挑战,最首要的问题是模型的通用性不高,每个模型都是针对特定的某个领域进行训练的,应用到其他领域的时候,效果并不好。大模型的出现将在一定程度上帮助人工智能模型提高泛化性,扩大适应领域。主要表现如下。(1)人工智能模型碎片化,大模型提供通用预训练方案目前人工智能面对行业、业务场景很多,人工智能需求正呈现出碎片化、多样化的特点。从开发、调参、优化、迭代到应用,人工模型研发成本极高,且难以满足定制化需求。为了走向工场模式,大模型提供了一种通用化的解
10、决方案,通过“预训练大模型+下游任务微调”的方式,有效地从大量标记和未标记的数据中捕获知识,通过将知识存储到大量的参数中并对特定任务进行微调,极大地扩展了模型的泛化能力。(2)大模型具备自监督学习功能,降低训练研发成本大模型的自监督学习方法,可以减少数据标注,在一定程度上解决了人工标注成本高、周期长、准确度不高的问题。由于减少了数据标准的成本,使得小样本的学习也能达到比以前更好的能力,并且模型参数规模越大,优势越明显,“预训练+微调”范式避免开发人员进行重复性大规模的训练,使用小样本就可以训练自己所需模型,极大降低开发使用成本。(3)大模型有望进一步突破现有模型结构的精度技术热点Technic
11、al Focus信息技术与标准化http:/94局限从深度学习发展的历程来看,模型精度提升,主要依赖网络在结构上的变革。随着神经网络结构设计技术逐渐成熟并趋于收敛,想要通过优化神经网络结构从而打破精度局限非常困难。近年来,大模型的数据规模和模型规模不断增大,随着模型思维链的增长、模型推理格式完善、模型可靠性提高,模型精度也得到了进一步提升,大模型的预训练有助于突破现有精度的一个局限。大模型技术在过去两年得到了快速的发展,预训练模型也在快速的发展中,整体有 3 个发展趋势3:(1)向超大规模演进,形成指数级增长。从某种意义上来讲,模型规模愈大,模型能够记忆和理解比对的信息愈多,因此实效的效果更优
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模型 技术 及其 标准化 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。