深度神经网络的自适应联合压缩方法.pdf
《深度神经网络的自适应联合压缩方法.pdf》由会员分享,可在线阅读,更多相关《深度神经网络的自适应联合压缩方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、May2023Chinese Journal of Scientific Instrument2023年5月Vol.44 No.5第5期第44卷表报仪器仪学D0I:10.19650/ki.cjsi.J2311004深度神经网络的自适应联合压缩方法姚博文,彭喜元,于希明,刘连胜,彭(哈尔滨工业大学测控工程系哈尔滨150080)摘要:现有模式单一且固定的深度神经网络压缩方法受限于精度损失,而难以对模型进行充分压缩,致使压缩后模型在实际部署时仍需消耗大量成本高昂且容量有限的存储资源,对其在边缘端的实际应用造成严峻挑战。针对该问题,本文提出一种可同时对模型连接结构和权重位宽进行自适应联合优化的压缩方法
2、。与已有组合式压缩不同,本文充分融合稀疏化和量化方法进行联合压缩训练,从而全面降低模型规模;采用层级自适应的稀疏度和数据表征位宽,缓解因固定压缩比导致的精度次优化问题。通过使用本文提出方法对VGG、R e s Ne t 和MobileNet在CIFAR-10数据集上的实验表明,精度损失分别为1.3%、2.4%和0.9%时,参数压缩率达到了143.0、151.6 和19.7;与12 种典型压缩方法相比,模型存储资源的消耗降低了15.3 148.5。此外,在自建的遥感图像数据集上,该方法仍能在达到最高2 8 4.2 压缩率的同时保证精度损失不超过1.2%。关键词:深度神经网络;模型压缩;联合优化;
3、稀疏化;量化中图分类号:TP1833TH89文献标识码:A国家标准学科分类代码:52 0.2 0 6 0Adaptive joint compression method for deep neural networksYao Bowen,Peng Xiyuan,Yu Ximing,Liu Liansheng,Peng Yu(Department of Test and Control Engineering,Harbin Institute of Technology,Harbin 150080,China)Abstract:Deep neural network compression m
4、ethods with a single and fixed pattern are difficult to compress the model sufficiently due tothe limitation of accuracy loss.As a result,the compressed model still needs to consume costly and limited storage resources when it isdeployed,which is a significant barrier to its use in edge devices.To a
5、ddress this problem,this article proposes an adaptive jointcompression method,which optimizes model structure and weight bit-width in parallel.Compared with the majority of existing combinedcompression methods,adequate fusion of sparsity and quantization methods is performed for joint compression tr
6、aining to reduce modelparameter redundancy comprehensively.Meanwhile,the layer-wise adaptive sparse ratio and weight bit-width are designed to solve thesub-optimization problem of model accuracy and improve model accuracy loss due to the fixed compression ratio.Experimental results ofVCG,ResNet,and
7、MobileNet using the CIFAR-10 dataset show that the proposed method achieves 143.0,151.6x,and 19.7xparameter compression ratios.The corresponding accuracy loss values are 1.3%,2.4%,and 0.9%,respectively.In addition,compared with 12 typical compression methods,the proposed method reduces the consumpti
8、on of hardware memory resources by 15.3x148.5x.In addition,the proposed method achieves maximum compression ratio of 284.2x whilemaintaining accuracy loss within limitedrange of 1.2%on the self-built remote sensing optical image dataset.Keywords:deep neural network;model compression;joint optimizati
9、on;sparsity;quantization0引言当今的深度神经网络以其卓越的任务精度被广泛应用于测试测量、工业制造、医疗监测等众多领域。然而,随着神经网络模型复杂度的快速增长,在智能传感、工业视觉检测、工业物联网等边缘计算需求密集场景下,有限收稿日期:2 0 2 3-0 1-2 8Received Date:2023-01-28且昂贵的高性能硬件存储资源已在传输速率、功耗和容量等多个方面呈现应用瓶颈 。为进一步提升深度神经网络在边缘端硬件上部署和推理的实际性能,需要解决的首要问题便是模型参数规模与硬件平台间的访存资源瓶颈问题。已有研究发现,神经网络模型推理时因大量的参数访存产生的能量消耗
10、远高于有效计算过程的开销,从而对硬件实际推理效率和能效也造成严重影响 2 表22仪器仪报学第44卷为解决该问题,神经网络模型压缩已经成为一种有效而必要的技术手段。有研究表明,深度神经网络模型通常存在大量的余结构和过参数化现象 3。从实际应用中的任务精度需求和部署资源条件出发,通过对神经网络中穴余部分的压缩,既可获得更加轻量化的模型以缓解硬件部署资源压力,同时又可实现与压缩前近似的精度,以保证其在实际应用中的有效性 4。因而,模型压缩对解决边缘端有限资源条件下,模型部署时硬件资源、模型规模和任务精度之间的不平衡问题有巨大的研究价值和应用潜力 5目前神经网络模型的压缩方法主要包括稀疏化和量化等。传
11、统的模型压缩过程,通常是采用单一的压缩方法来获得满足硬件部署和计算需求的轻量级模型。但随着模型推理过程向前端转移,单方面的模型压缩已经难以满足存储和算力都极度受限的边缘端硬件平台对部署模型规模提出的新要求和挑战 6。因此,通过组合或联合多种模型压缩方法,从不同角度同时对模型结构和参数进行压缩,已经成为进一步减轻模型体量、提高推理性能和适应轻小型硬件部署模型需求的新型压缩范式。联合压缩方法的优势在于可以从不同角度对模型穴余性进行发掘,以获得综合压缩性能的提升。针对决定深度神经网络模型存储资源占用的两项主要因素,连接数量和权重位宽,采用相适应的压缩方式,以获得模型规模的充分缩减。在已有研究中,连接
12、结构的压缩主要通过删除不重要的模型权重,已达到模型稀疏化的目的,从而获得更紧凑的模型结构 7;权重参数方面则是通过将高位宽连续数据映射为低位宽离散数据的近似计算方式,降低模型计算复杂度和存储需求 8。稀疏化和量化两种方法的联合应用,相较于单一压缩方法可以获得压缩率的大幅提升,进而有效降低模型部署时对硬件存储资源的消耗联合压缩方法的关键是根据参数和结构的穴余特点对压缩方法进行合理的分配与组合,使方法间形成互补,促进综合压缩效果的提升。针对稀疏化和量化联合方法,研究者们提出了阶段式的组合优化方式对模型结构和参数位宽分别进行独立压缩,从而获得更高的压缩比 10-2。然而,在不同压缩阶段下模型本身允余
13、特点将发生改变,因此无法做出及时的适应性调整。阶段式的组合压缩方法难以与模型本身产生最优的适配结果。同时,相较于使用单一方法的压缩过程,联合压缩策略具有更高的复杂度,往往需要依赖人工设计经验对各阶段进行手动微调,不仅会造成较高的人力成本开销,而且易引人人工经验误差导致次优化,针对上述问题,本文提出一种基于稀疏化和量化协同优化(sparseandquantized synergy,SQ S)的自适应模型联合压缩方法。该方法将稀疏化和量化操作融合并内嵌于模型的训练过程,在不需要复杂调参和额外人工经验的前提下,随模型训练过程,对模型层级的连接穴余和位宽穴余进行自适应迭代学习和压缩,从而有效避免因分阶
14、段压缩导致的次优化现象和额外调试成本开销。SQS采用即插即用的节点操作形式,可以方便地嵌人不同模型结构中,在完成常规模型训练的同时完成高倍率的模型参数压缩,获得低存储资源消耗的轻量级模型,并通过低成本的整体微调恢复模型精度至压缩前的近似水平。本文通过将稀疏化和量化操作融人模型训练过程,以端到端的方式实现对神经网络连接数量和参数位宽进行联合压缩,提升方法间的协同作用优势,避免了分阶段式压缩的复杂策略设计;构建具有稀疏化因子和位宽选择因子的联合压缩框架,根据模型层的穴余特点进行自适应学习,从而在训练和压缩过程中提升压缩策略对模型参数与结构变化的适应性,改善精度和压缩率的不平衡关系;在无需修改原始模
15、型结构的情况下,可快捷而高效的通过插人操作节点构建联合压缩训练框架。通过对VGG13、R e s Ne t 14和MobileNet15主流神经网络模型的实验,验证了本文所提出方法在降低模型存储资源消耗方面的有效性和性能优越性。1相关研究1.1模型稀疏化模型稀疏化是深度神经网络常用的压缩方法之一,其主要原理是在不造成严重精度损失的情况下,通过对“不重要”的连接结构的裁剪获得更加紧凑的网络模型,因此,通常也被称为模型剪枝。Lin等 16 通过广泛的统计计算发现特征图的秩可以用于对特征信息含量进行评价,进而间接确定对应连接结构的重要性。此外,Han等 7 基于“权重越小,对模型精度贡献越小”的假设
16、,通过将小于特定阈值的权重置为0 的方式获得稀疏连接的网络模型,并在AlexNet17、VCG 13等模型上成功验证了该方法的有效性。类似的,研究者们还提出了使用,范数【18、信息熵【19 以及BN层因子 2 0 等参数的量值作为连接重要性评价指标的剪枝方法。然而,为取得压缩率和精度平衡,在剪枝过程中通常需要消耗大量人力成本进行基于经验的设置和调优。为解决该问题,Xiao 等 2 1和Kusupati等【2 2 引人了可学习参数进行自动化剪枝,通过迭代训练使模型稀疏度自动适应网络参数余特点,同时提升稀疏模型的鲁棒性。1.2参数量化参数量化是通过仿射变换从数据表示精度方面对计算过程进行近似,例如
17、将浮点32 位数据映射为整型8 位数据,获得更低存储资源消耗的同时降低计算复杂度。23姚博文等:深度神经网络的自目适应联合压缩方法第5期谷歌公司在2 0 18 年的研究中,对使用整型参数代替浮点参数进行神经网络推理的有效性进行了验证 8。由于神经网络不同层间对数据位宽的敏感性不同,其所适应的量化位宽也不尽相同。因此,Dong等 2 3、Huang等 2 4和Wang等 2 5相继提出了可对位宽敏感性进行自适应的混合精度量化方法,以有效平衡精度和低位宽计算间的矛盾,为模型在资源受限的嵌人式平台中部署提供了更大的潜力。1.3稀疏化和量化联合压缩稀疏化和量化方法可以被同时应用于神经网络模型以获得更高
18、的压缩率。Han等 9 提出了一种三阶段式(剪枝,量化和熵编码)的联合压缩方法,用以降低深度神经网络模型的存储消耗,但需要依靠人工经验对压缩超参数进行调试。为解决该问题,Yang等【10 提出了基于约束优化的自动化联合压缩方法,在无需人工设置超参数的情况下在压缩率和精度之间取得了平衡。此外,Park等 2 6 针对训练过程中的稀疏化和量化问题,提出了基于梯度优化的联合压缩方法。Gonzalez-Carabarin等 提出了一种灵活的剪枝策略,同时可以联合量化方法以获得满足硬件需求的压缩模型。联合压缩方法为追求模型极至压缩率提供了巨大潜力,同时也已成为权衡深度神经网络模型在应用场景、压缩比、精度
19、和硬件可用性方面的重要方法。2自适应联合压缩方法2.1方法框架深度神经网络复杂且难以解释的连接结构和参数分布,对压缩程度具有独特且多样的敏感性特点。该特点表明,采用单一且相对固定的压缩模式,往往难以对模型不同维度的结构和参数穴余度进行匹配,进而容易获得“过饱和”或“欠饱和”的压缩模型,使模型处于有效信息难以保留而无效信息压缩不充分的不良状态,从而降低模型鲁棒性和任务完成能力,对实际部署中硬件资源利用率和模型推理效率的发挥造成严重影响。针对该问题,本文提出一种基于模型稀疏化和量化联合的层级自适应压缩方法框架,如图1所示。与采用两阶段压缩的联合方式不同,本文基于原始模型结构构建并行的联合压缩操作节
20、点,并通过设置可训练的压缩参数使参数压缩过程随模型权重训练同步进行。同时为匹配模型不同层之间对于压缩敏感性的差别,采用层级自适应的压缩参数训练方法,即通过端到端的训练使模型自动学习稀疏阈值和量化位宽,从而降低因人为设定压缩目标而引人的人工误差和精度损失。如图1所示,自适应联合压缩框架主要分为联合压缩节点构建、联合压缩训练和压缩模型微调3部分。原始模型步骤1):第/层构建SQS联合压缩节点压缩后模型权重压缩后网络层稀疏化操作量化操作步骤2):联合压缩训练步骤3):压缩模型微调图1自适应联合压缩方法框架Fig.1Adaptive joint compression method framework
21、1)联合压缩节点构建。在原始模型的基础上通过在层间插人可学习联合压缩节点,将稀疏化阈值和量化位宽重要性因子作为可训练参数引人模型训练过程,构建具有联合压缩误差感知能力的神经网络模型。2)联合压缩训练。在无需预训练的情况下,使用目标数据集直接对构建后的模型进行送代训练,分别对神经网络权重和压缩参数执行层级的自适应优化和更新,促使模型训练在达到目标精度的同时使压缩率最大化。3)压缩模型微调。基于训练获得的模型和压缩参数,使用少量目标数据对其进行微调和测试,得到最终的压缩模型自适应联合压缩方法具体实现过程如算法1所示。其中,算法分别对稀疏化和量化定义了可学习的压缩参数,和l.i。该参数的学习过程可跟
22、随神经网络的训练和测试过程进行同步迭代,降低压缩过程中超参数的设计与调试难度,并且压缩过程与训练过程深度融合,无需设计额外且复杂的损失函数,大幅降低技术使用难度,具有即插即用和简单高效等优势。表仪24器仪报学第44卷算法1自适应联合压缩方法输人:训练数据D,神经网络基础结构model,稀疏因子i,位宽选择因子i,最大迭代次数iteration。输出:微调后压缩模型1:向model结构中插人联合压缩节点2:初始化模型权重Wl,和l.i3:for 1,2,.,iteration do4:for 1,2,L do5:通过式(3)(6)和(14)更新权重wl.i6:end for7:加载数据D,通过式
23、(1)、(2)计算model损失误差8:用梯度下降法更新模型权重,,和l.i9:end for10:repeat11:删除多余量化分支结构,进行模型微调12:u n t i l 达到预期模型精度13:e n d 输出模型本文所提出的自适应联合压缩方法框架,旨在通过构建即插即用的联合压缩节点,将模型稀疏化和量化过程快速而有效地融合至模型训练过程中,对结构和数据位宽两方面的穴余性进行深度挖掘,同时充分发挥稀疏化和量化互补优势,对不同压缩敏感性的网络层进行层级自适应学习,从而在保证神经网络精度的同时进一步提升模型压缩率。2.2联合优化联合优化的目的是通过训练迭代的方式在使网络收敛同时获得具有稀疏结构
24、和低位宽表示权重的轻量级模型,因此对于给定神经网络模型的目标函数为:minCrain=E(Y,f(X,W)+R(Wi.)(1)ELEN式中:Cirain表示模型的在训练数据上的损失误差,由交叉嫡函数E()和正则化项R(wi.)计算得出。其中,交叉熵函数中变量Y和f()分别表示目标值和预测值;X为输人数据;入为正则化因子,通常为常数。为在神经网络训练过程中实现模型稀疏化和量化的联合压缩操作,将()中的权重向量修改为联合压缩向量W*,即将权重分别输人至稀疏化操作节点和量化操作节点,稀疏化操作节点根据权重分布和自适应阈值获得对应的权重掩码向量,同时量化操作节点通过多分支的量化位宽搜索完成权重参数由浮
25、点数据向整型数据的映射变换。最终两者结果的阿达玛乘积作为可用于训练和实际推理的权重参数。联合压缩操作原理框图如图2 所示。联合压缩操作原理可表示为:W,*=M(W,)Q(W),bit)(2)稀疏化操作(M)权重分布稀疏掩码第1层权重压缩后权重T量化操作(Q)权重映射3bitQ(W,bit)4bitQ(W,.bit)1.28bitQ(w,bit)X图2联合压缩操作原理Fig.2Principle of joint compression operation式中:M()表示为稀疏化函数,用于计算权重掩码矩阵;Q()为量化函数,用于在bit位量化区间内进行权重的仿射变换。然而,在压缩过程中必然会对模
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 神经网络 自适应 联合 压缩 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。