深度神经网络的自适应联合压缩方法.pdf

May2023Chinese Journal of Scientific Instrument2023年5月Vol.44 No.5第5期第44卷表报仪器仪学D0I:10.19650/ki.cjsi.J2311004深度神经网络的自适应联合压缩方法姚博文，彭喜元，于希明，刘连胜，彭（哈尔滨工业大学测控工程系哈尔滨150080)摘要：现有模式单一且固定的深度神经网络压缩方法受限于精度损失，而难以对模型进行充分压缩，致使压缩后模型在实际部署时仍需消耗大量成本高昂且容量有限的存储资源，对其在边缘端的实际应用造成严峻挑战。针对该问题，本文提出一种可同时对模型连接结构和权重位宽进行自适应联合优化的压缩方法。与已有组合式压缩不同，本文充分融合稀疏化和量化方法进行联合压缩训练，从而全面降低模型规模；采用层级自适应的稀疏度和数据表征位宽，缓解因固定压缩比导致的精度次优化问题。通过使用本文提出方法对VGG、R e s Ne t 和MobileNet在CIFAR-10数据集上的实验表明，精度损失分别为1.3%、2.4%和0.9%时，参数压缩率达到了143.0、151.6 和19.7；与12 种典型压缩方法相比，模型存储资源的消耗降低了15.3 148.5。此外，在自建的遥感图像数据集上，该方法仍能在达到最高2 8 4.2 压缩率的同时保证精度损失不超过1.2%。关键词：深度神经网络；模型压缩；联合优化；稀疏化；量化中图分类号：TP1833TH89文献标识码：A国家标准学科分类代码：52 0.2 0 6 0Adaptive joint compression method for deep neural networksYao Bowen,Peng Xiyuan,Yu Ximing,Liu Liansheng,Peng Yu(Department of Test and Control Engineering,Harbin Institute of Technology,Harbin 150080,China)Abstract:Deep neural network compression methods with a single and fixed pattern are difficult to compress the model sufficiently due tothe limitation of accuracy loss.As a result,the compressed model still needs to consume costly and limited storage resources when it isdeployed,which is a significant barrier to its use in edge devices.To address this problem,this article proposes an adaptive jointcompression method,which optimizes model structure and weight bit-width in parallel.Compared with the majority of existing combinedcompression methods,adequate fusion of sparsity and quantization methods is performed for joint compression training to reduce modelparameter redundancy comprehensively.Meanwhile,the layer-wise adaptive sparse ratio and weight bit-width are designed to solve thesub-optimization problem of model accuracy and improve model accuracy loss due to the fixed compression ratio.Experimental results ofVCG,ResNet,and MobileNet using the CIFAR-10 dataset show that the proposed method achieves 143.0,151.6x,and 19.7xparameter compression ratios.The corresponding accuracy loss values are 1.3%,2.4%,and 0.9%,respectively.In addition,compared with 12 typical compression methods,the proposed method reduces the consumption of hardware memory resources by 15.3x148.5x.In addition,the proposed method achieves maximum compression ratio of 284.2x whilemaintaining accuracy loss within limitedrange of 1.2%on the self-built remote sensing optical image dataset.Keywords:deep neural network;model compression;joint optimization;sparsity;quantization0引言当今的深度神经网络以其卓越的任务精度被广泛应用于测试测量、工业制造、医疗监测等众多领域。然而，随着神经网络模型复杂度的快速增长，在智能传感、工业视觉检测、工业物联网等边缘计算需求密集场景下，有限收稿日期：2 0 2 3-0 1-2 8Received Date:2023-01-28且昂贵的高性能硬件存储资源已在传输速率、功耗和容量等多个方面呈现应用瓶颈 。为进一步提升深度神经网络在边缘端硬件上部署和推理的实际性能，需要解决的首要问题便是模型参数规模与硬件平台间的访存资源瓶颈问题。已有研究发现，神经网络模型推理时因大量的参数访存产生的能量消耗远高于有效计算过程的开销,从而对硬件实际推理效率和能效也造成严重影响 2 表22仪器仪报学第44卷为解决该问题，神经网络模型压缩已经成为一种有效而必要的技术手段。有研究表明，深度神经网络模型通常存在大量的余结构和过参数化现象 3。从实际应用中的任务精度需求和部署资源条件出发，通过对神经网络中穴余部分的压缩，既可获得更加轻量化的模型以缓解硬件部署资源压力，同时又可实现与压缩前近似的精度，以保证其在实际应用中的有效性 4。因而，模型压缩对解决边缘端有限资源条件下，模型部署时硬件资源、模型规模和任务精度之间的不平衡问题有巨大的研究价值和应用潜力 5目前神经网络模型的压缩方法主要包括稀疏化和量化等。传统的模型压缩过程，通常是采用单一的压缩方法来获得满足硬件部署和计算需求的轻量级模型。但随着模型推理过程向前端转移，单方面的模型压缩已经难以满足存储和算力都极度受限的边缘端硬件平台对部署模型规模提出的新要求和挑战 6。因此，通过组合或联合多种模型压缩方法，从不同角度同时对模型结构和参数进行压缩，已经成为进一步减轻模型体量、提高推理性能和适应轻小型硬件部署模型需求的新型压缩范式。联合压缩方法的优势在于可以从不同角度对模型穴余性进行发掘，以获得综合压缩性能的提升。针对决定深度神经网络模型存储资源占用的两项主要因素，连接数量和权重位宽，采用相适应的压缩方式，以获得模型规模的充分缩减。在已有研究中，连接结构的压缩主要通过删除不重要的模型权重，已达到模型稀疏化的目的，从而获得更紧凑的模型结构 7；权重参数方面则是通过将高位宽连续数据映射为低位宽离散数据的近似计算方式,降低模型计算复杂度和存储需求 8。稀疏化和量化两种方法的联合应用，相较于单一压缩方法可以获得压缩率的大幅提升，进而有效降低模型部署时对硬件存储资源的消耗联合压缩方法的关键是根据参数和结构的穴余特点对压缩方法进行合理的分配与组合，使方法间形成互补，促进综合压缩效果的提升。针对稀疏化和量化联合方法，研究者们提出了阶段式的组合优化方式对模型结构和参数位宽分别进行独立压缩，从而获得更高的压缩比 10-2。然而，在不同压缩阶段下模型本身允余特点将发生改变，因此无法做出及时的适应性调整。阶段式的组合压缩方法难以与模型本身产生最优的适配结果。同时，相较于使用单一方法的压缩过程，联合压缩策略具有更高的复杂度，往往需要依赖人工设计经验对各阶段进行手动微调，不仅会造成较高的人力成本开销，而且易引人人工经验误差导致次优化，针对上述问题，本文提出一种基于稀疏化和量化协同优化（sparseandquantized synergy，SQ S）的自适应模型联合压缩方法。该方法将稀疏化和量化操作融合并内嵌于模型的训练过程，在不需要复杂调参和额外人工经验的前提下，随模型训练过程，对模型层级的连接穴余和位宽穴余进行自适应迭代学习和压缩，从而有效避免因分阶段压缩导致的次优化现象和额外调试成本开销。SQS采用即插即用的节点操作形式，可以方便地嵌人不同模型结构中，在完成常规模型训练的同时完成高倍率的模型参数压缩，获得低存储资源消耗的轻量级模型，并通过低成本的整体微调恢复模型精度至压缩前的近似水平。本文通过将稀疏化和量化操作融人模型训练过程，以端到端的方式实现对神经网络连接数量和参数位宽进行联合压缩，提升方法间的协同作用优势，避免了分阶段式压缩的复杂策略设计；构建具有稀疏化因子和位宽选择因子的联合压缩框架，根据模型层的穴余特点进行自适应学习,从而在训练和压缩过程中提升压缩策略对模型参数与结构变化的适应性,改善精度和压缩率的不平衡关系；在无需修改原始模型结构的情况下，可快捷而高效的通过插人操作节点构建联合压缩训练框架。通过对VGG13、R e s Ne t 14和MobileNet15主流神经网络模型的实验，验证了本文所提出方法在降低模型存储资源消耗方面的有效性和性能优越性。1相关研究1.1模型稀疏化模型稀疏化是深度神经网络常用的压缩方法之一，其主要原理是在不造成严重精度损失的情况下，通过对“不重要”的连接结构的裁剪获得更加紧凑的网络模型，因此，通常也被称为模型剪枝。Lin等 16 通过广泛的统计计算发现特征图的秩可以用于对特征信息含量进行评价，进而间接确定对应连接结构的重要性。此外，Han等 7 基于“权重越小，对模型精度贡献越小”的假设，通过将小于特定阈值的权重置为0 的方式获得稀疏连接的网络模型,并在AlexNet17、VCG 13等模型上成功验证了该方法的有效性。类似的，研究者们还提出了使用，范数【18、信息熵【19 以及BN层因子 2 0 等参数的量值作为连接重要性评价指标的剪枝方法。然而，为取得压缩率和精度平衡，在剪枝过程中通常需要消耗大量人力成本进行基于经验的设置和调优。为解决该问题,Xiao 等 2 1和Kusupati等【2 2 引人了可学习参数进行自动化剪枝，通过迭代训练使模型稀疏度自动适应网络参数余特点，同时提升稀疏模型的鲁棒性。1.2参数量化参数量化是通过仿射变换从数据表示精度方面对计算过程进行近似，例如将浮点32 位数据映射为整型8 位数据，获得更低存储资源消耗的同时降低计算复杂度。23姚博文等：深度神经网络的自目适应联合压缩方法第5期谷歌公司在2 0 18 年的研究中，对使用整型参数代替浮点参数进行神经网络推理的有效性进行了验证 8。由于神经网络不同层间对数据位宽的敏感性不同，其所适应的量化位宽也不尽相同。因此,Dong等 2 3、Huang等 2 4和Wang等 2 5相继提出了可对位宽敏感性进行自适应的混合精度量化方法，以有效平衡精度和低位宽计算间的矛盾，为模型在资源受限的嵌人式平台中部署提供了更大的潜力。1.3稀疏化和量化联合压缩稀疏化和量化方法可以被同时应用于神经网络模型以获得更高的压缩率。Han等 9 提出了一种三阶段式（剪枝，量化和熵编码）的联合压缩方法，用以降低深度神经网络模型的存储消耗，但需要依靠人工经验对压缩超参数进行调试。为解决该问题，Yang等【10 提出了基于约束优化的自动化联合压缩方法，在无需人工设置超参数的情况下在压缩率和精度之间取得了平衡。此外，Park等 2 6 针对训练过程中的稀疏化和量化问题,提出了基于梯度优化的联合压缩方法。Gonzalez-Carabarin等 提出了一种灵活的剪枝策略，同时可以联合量化方法以获得满足硬件需求的压缩模型。联合压缩方法为追求模型极至压缩率提供了巨大潜力，同时也已成为权衡深度神经网络模型在应用场景、压缩比、精度和硬件可用性方面的重要方法。2自适应联合压缩方法2.1方法框架深度神经网络复杂且难以解释的连接结构和参数分布,对压缩程度具有独特且多样的敏感性特点。该特点表明,采用单一且相对固定的压缩模式,往往难以对模型不同维度的结构和参数穴余度进行匹配，进而容易获得“过饱和”或“欠饱和”的压缩模型，使模型处于有效信息难以保留而无效信息压缩不充分的不良状态，从而降低模型鲁棒性和任务完成能力，对实际部署中硬件资源利用率和模型推理效率的发挥造成严重影响。针对该问题，本文提出一种基于模型稀疏化和量化联合的层级自适应压缩方法框架，如图1所示。与采用两阶段压缩的联合方式不同，本文基于原始模型结构构建并行的联合压缩操作节点，并通过设置可训练的压缩参数使参数压缩过程随模型权重训练同步进行。同时为匹配模型不同层之间对于压缩敏感性的差别，采用层级自适应的压缩参数训练方法，即通过端到端的训练使模型自动学习稀疏阈值和量化位宽，从而降低因人为设定压缩目标而引人的人工误差和精度损失。如图1所示，自适应联合压缩框架主要分为联合压缩节点构建、联合压缩训练和压缩模型微调3部分。原始模型步骤1)：第/层构建SQS联合压缩节点压缩后模型权重压缩后网络层稀疏化操作量化操作步骤2）：联合压缩训练步骤3）：压缩模型微调图1自适应联合压缩方法框架Fig.1Adaptive joint compression method framework1)联合压缩节点构建。在原始模型的基础上通过在层间插人可学习联合压缩节点，将稀疏化阈值和量化位宽重要性因子作为可训练参数引人模型训练过程，构建具有联合压缩误差感知能力的神经网络模型。2)联合压缩训练。在无需预训练的情况下，使用目标数据集直接对构建后的模型进行送代训练，分别对神经网络权重和压缩参数执行层级的自适应优化和更新，促使模型训练在达到目标精度的同时使压缩率最大化。3)压缩模型微调。基于训练获得的模型和压缩参数，使用少量目标数据对其进行微调和测试，得到最终的压缩模型自适应联合压缩方法具体实现过程如算法1所示。其中，算法分别对稀疏化和量化定义了可学习的压缩参数,和l.i。该参数的学习过程可跟随神经网络的训练和测试过程进行同步迭代，降低压缩过程中超参数的设计与调试难度，并且压缩过程与训练过程深度融合，无需设计额外且复杂的损失函数，大幅降低技术使用难度，具有即插即用和简单高效等优势。表仪24器仪报学第44卷算法1自适应联合压缩方法输人：训练数据D,神经网络基础结构model,稀疏因子i，位宽选择因子i，最大迭代次数iteration。输出：微调后压缩模型1：向model结构中插人联合压缩节点2：初始化模型权重Wl,和l.i3:for 1,2,.,iteration do4：for 1,2,L do5：通过式(3）（6)和(14)更新权重wl.i6：end for7:加载数据D，通过式（1）、（2）计算model损失误差8：用梯度下降法更新模型权重，,和l.i9:end for10:repeat11:删除多余量化分支结构，进行模型微调12：u n t i l 达到预期模型精度13：e n d 输出模型本文所提出的自适应联合压缩方法框架，旨在通过构建即插即用的联合压缩节点，将模型稀疏化和量化过程快速而有效地融合至模型训练过程中，对结构和数据位宽两方面的穴余性进行深度挖掘，同时充分发挥稀疏化和量化互补优势，对不同压缩敏感性的网络层进行层级自适应学习，从而在保证神经网络精度的同时进一步提升模型压缩率。2.2联合优化联合优化的目的是通过训练迭代的方式在使网络收敛同时获得具有稀疏结构和低位宽表示权重的轻量级模型，因此对于给定神经网络模型的目标函数为：minCrain=E(Y,f(X,W)+R(Wi.)(1)ELEN式中：Cirain表示模型的在训练数据上的损失误差，由交叉嫡函数E（）和正则化项R(wi.）计算得出。其中，交叉熵函数中变量Y和f（）分别表示目标值和预测值；X为输人数据；入为正则化因子，通常为常数。为在神经网络训练过程中实现模型稀疏化和量化的联合压缩操作，将（）中的权重向量修改为联合压缩向量W*，即将权重分别输人至稀疏化操作节点和量化操作节点，稀疏化操作节点根据权重分布和自适应阈值获得对应的权重掩码向量，同时量化操作节点通过多分支的量化位宽搜索完成权重参数由浮点数据向整型数据的映射变换。最终两者结果的阿达玛乘积作为可用于训练和实际推理的权重参数。联合压缩操作原理框图如图2 所示。联合压缩操作原理可表示为：W,*=M(W,)Q(W),bit)(2)稀疏化操作（M）权重分布稀疏掩码第1层权重压缩后权重T量化操作（Q）权重映射3bitQ(W,bit)4bitQ(W,.bit)1.28bitQ(w,bit)X图2联合压缩操作原理Fig.2Principle of joint compression operation式中：M（）表示为稀疏化函数，用于计算权重掩码矩阵；Q（）为量化函数，用于在bit位量化区间内进行权重的仿射变换。然而，在压缩过程中必然会对模型的原始结构造成一定破坏，使模型连接结构和权重分布呈现不稳定状态，影响最终模型的推理精度。因此，为保证模型能够快速而稳定收敛，一方面，通过将权重向量W替换为联合压缩向量W*而同时引人稀疏化误差和量化误差，使模型在训练过程中完成对压缩误差的适应和优化，从而缓解压缩过程对模型精度的不良影响，提高压缩后轻量级网络的鲁棒性；另一方面，借助，正则化项对模型的训练权重进行约束，使其趋于稀疏而紧凑的分布状态，从而降低训练时稀疏化的难度，并缩小参数映射空间，以在一定程度上缓解因直接将稀疏权重置为零值和量化分辨率不足时导致的模型损失误差震荡，进而降低模型压缩难度，加快收敛速度。1）自适应阈值稀疏化针对一个具有L层的神经网络模型，每层的权重总数为N,对于第l层的第i个权重可以表示为wl.i，其中，l11,2,L,ie1,2,N,。基于阈值的权重稀疏化方法通常可以表示为：W=Wi(Wi.)(3）Wi.T(4)其他式中：wl.为稀疏化后的权重值;M（）为赫维赛德阶跃函数，用于计算权值掩码矩阵；T为预先设定的权重阈值。由于不同网络层的权重在特征提取过程中的作用不同，有效权重和非必要权重的分布比例呈现较大的差异化,因此，依靠人工经验预先设定的固定阈值难以对层间稀疏度的差异性进行充分适配，极易产生过度或过轻压缩的次优化结果25姚博文等：深度神经网络的自适应联合压缩方法第5期为解决该问题，本文采用可训练的连续函数代替固定阈值，通过送代训练对神经网络权重进行自动化学习，以获得适应于权重压缩敏感性的最优化阈值。同时，根据该阈值对每层的权重数据进行区域动态划分和稀疏化操作。具体方法如下。(1)前向推断首先,定义层级稀疏化因子E,，利用sigmoid（）将其映射到（O,1）区间，从而获得该层的稀疏率和值：Pt=sigmoid(,)(5)其中，PlE（0,1）为l层的稀疏率。之后,通过阈值计算函数T（）得出当前层的阈值：T=T(W,N,pi)(6)阈值T,EiT1,T,l,min(wi,t)T,TI时，权重作为可量化数据输入量化操作模块；当|wllT，时,权重作为可删减数据输人稀疏操作模块。其中，对于稀疏化操作，利用式（3）和（4）获得权值掩码矩阵maski,并与权重矩阵进行对位相乘，获得稀疏化后的权重矩阵W,E/Wi,.,W)（2）反向传播可进行梯度反向传播是实现自动化学习阈值的关键。式(5)使用sigmoid函数对各层稀疏率进行求解从而获得阈值，因此，对阈值的训练学习被转化为对稀疏因子，的迭代更新求解过程。根据梯度反向传播原理，定义稀疏因子反向传播更新公式为：NaE,=,-Ir maski(7)X,awt式中：为迭代更新后稀疏因子；lr为学习率。根据式（5）可知稀疏率对稀疏因子，的梯度为：grad(,)=dp,/,=e-Bl/(8)为提升稀疏因子在训练过程中对权重精度感知能力，在grad(,）的基础上乘以l层权重的梯度和。具体的,在式（7）中，计算I层误差E,对权重w,的偏导数,并利用掩码矩阵mask，屏蔽求保留权重的梯度和。最终，通过式（7）和（8），使用随机梯度下降方法实现对稀疏因子，的迭代更新，从而完成对稀疏化阈值的层级自适应训练。自适应阈值稀疏化方法通过引人稀疏化因子构建具有自动学习能力的稀疏阈值，并通过设计反向传播方法实现渐进式的层级权重稀疏化，使权重在训练过程中随模型稀疏结构变化而进行动态更新，从而使模型权重和稀疏结构间取得良好的适应性。2）多分支混合精度搜索量化由于神经网络权重通常呈现以零点为均值的正态分布,因此，为尽可能覆盖其数据分布特点，以对称均匀量化方法为基础，将浮点32 bit权重向更低bit的整型数值进行仿射变换。权重参数的量化过程可表示为：(2hi-1Q(W,bit)=clamp(RRmaxmin(9)式中：Q（W,b i t）为量化函数，输人为第l层权重向量W和期望量化位宽bit;clamp（，Q n，Q,）函数为截断函数，即分别以Q,=-2hi-1和Q,=2i-1-1为最小值和最大值量化边界；1为向上取整函数；Rmax和Rmin分别为浮点权重的最大值和最小值。与稀疏化类似，由于神经网络每层敏感性的差异，致使在采用不同数据位宽进行表示时也呈现出不同的余性。因此，需要对不同层匹配不同的量化位宽，以提高特征和数据表示精度之间的适应性。本文参考神经网络架构搜索思路，构建具有多分搜索结构的混合精度量化节点，并基于量化感知训练方法实现对量化位宽的自动化学习。其中，为表征不同分支下位宽的重要性，引人量化位宽选择因子ti,其量化表达式为：W,=Zo(i.)Q(W,bit)(10)式中W,=Wi,W,IW,eQ n,Q,为量化后权重。为限制量化因子搜索可行解的空间范围,对1,利用函数（）进行归一化处理：C1,i1.cg(l.;)=e(11)e=1式中：C为量化分支节点个数,CZ*;函数（）将il.i转换为在 0,1且和为1的概率分布,用于表征各量化分支的重要性概率。如式（10）所示，将乘以重要性概率的量化值进行求和，并利用梯度下降法求解，即获得重要性概率最高的量化分支。为保证搜索过程模型收敛的稳定性，量化感知训练采用伪量化形式，即将浮点权重量化为整型数值后，再映射回浮点类型。如此，既可以将权重量化误差引人训练过程，同时也可保证训练时前向推理和反向传播的精确性。伪量化操作公式为：RRmaxminQFake(W,bit)x Q(W,bit)(12)2i-1因此,式(10)可被改写为：W,=Zo(il.)Qrake(W,bit,)(13)在反向传播过程中，为解决量化映射函数的不连续问题，可采用主流的直通式梯度评估器方法对量化过程的梯度进行近似。因此，根据链式求导法则可知，式(13)中目标函数对伪量化后权重的参数更新公式可表仪26报学器仪第44卷定义为：E,2.,=Wi.-lrg(l.)(14)aW,式中：w表示为通过迭代更新后的权重参数；aE,/W,aE,/awt，即采用连续的浮点权重梯度近似量化后离散的权重梯度，从而保证量化误差在各层间的连续传递。就网络整体的收敛过程而言，量化产生的截断误差和近似误差是影响收敛效果的主要因素，通过在训练过程对误差的传递可以有效的提升模型权重对误差的感知能力，进而通过循环迭代逐渐纠正误差对最终模型预测结果的影响，使模型可以近似达到原始的收敛状态。同时，采用对argminCrain目标函数进行参数空间搜索的方式，在给定的位宽搜索空间内，以1.表征量化分支重要性，在量化感知训练的基础上，通过循环迭代搜索获得量化计算误差最小的分支，从而获得各层权重的最优化位宽表示，实现自动化的层级量化位宽选择，进而提高数据表示位宽对层级特征表达精度的适应性。但由于（）函数本身限制，在完成压缩训练后残余的量化分支会对模型实际推理效果造成影响，因此需在训练后进行适当微调，以消除穴余分支。3实验与结果分析为验证本文所提出的自适应联合压缩方法有效性，针对当前主流的神经网络模型,RseNet14、VG C 13和MobileNet15,在机器视觉领域图像分类任务中主流基准测试数据集CIFAR-1027上进行实验，并对模型的精度和存储资源消耗情况进行对比分析。3.1实验设置实验硬件环境为AMAX服务器，主要配置包括：IntelXeon E5-2640 CPU 和 NVIDIA Tesla P100（16 CB)GPUx2；软件环境配置为Python3.10.8和Pytorch1.13.0深度学习框架。实验数据集CIFAR-10：数据集包含10 个类别，共6 0 0 0 0 张彩色图像，其中包含50 0 0 0 张训练图像和10 0 0 0 张测试图像。实验所用网络模型基础结构由torchvision库提供，构建网络模型后对权重进行随机初始化。通过文献 10 对超参数的设置方法，并根据实验环境的实际情况，对本文所用超参数进行如下设置：采用随机梯度下降和自适应矩估计优化算法分别对权重和稀疏因子，、位宽选择因子l；进行更新，其中，优化器学习率初始化值分别设置为0.1和0.0 1,并采用warmup策略对学习率进行调整；量化位宽搜索空间中候选bit位宽设置为3，4，5，6，7，8；训练数据批大小为10 2 4;最大训练轮数为12 0。实验引用近年来在模型压缩领域的先进方法与本文提出方法进行对比，包括APRS28、H r a n k 16 和ALE193类剪枝方法；MXQN24、D SQ 2 9、SQ 30、A PO T 31 HAWQ23 和 Unified INT832 6 类量化方法;以及 DPp HFPQ12和SQL1013类联合压缩方法。为保证实验结果的公平性，本文参考上述对比方法中的评价指标，采用如下4项指标对本文提出方法性能进行分析。1)准确率损失【10,用于评价压缩前后的模型精度的损失情况，即用原始模型精度减去压缩后模型精度，表示为“Acc.”。准确率损失如为正值,则表示压缩后模型精度下降；反之，则表示模型精度上升。2)稀疏度 1,用于评价模型的稀疏化程度，即为压缩后零值权重数量与权重总数的比值，表示为“S,”。稀疏度值越大，表示模型压缩比越高。3)平均权重位数 10)，用于评价模型权重的量化位宽，即为压缩后所有模型权重的量化位宽与权重总数的比值，表示为“Ave.bits”。平均权重位数越小，则表示模型量化程度越高，压缩率越大。4)压缩率 10,用于评价模型权重所占用存储资源的压缩程度。即原始模型权重字节数与压缩后模型权重字节数的比值，表示为“Comp.ratio”。压缩率越高，则表示压缩后模型所消耗的存储空间越小。3.2对比分析在CIFAR-10数据集上分别对VGG16、R e s Ne t 和MobileNet模型进行对比实验，其中，ResNet选择18、2 0、56和110 这4个版本；MobileNet选择V1和V2两个版本。实验结果数值均采用四舍五入形式保留一位小数进行对比。其中，VGG16实验结果如表1所示。表1VGG16在CIFAR-10数据集上压缩结果对比Table 1 Comparison of compression results ofVGG16 on CIFAR-10 dataset压缩方法Acc./%$,/%Ave.bitsComp.ratioAPRS0.980.532.05.1xHrank-2.792.032.012.5xMXQN0.409.03.6xDSQ-0.101.032.0XSQ0.205.725.1xDPP-C-F0.484.48.025.6xHFPQ1.186.05.045.7XSQL1.590.01.8177.8xSQS1.394.64.1143.0 x由表1可知,SQS在权重参数存储空间压缩率达到原模型143.0 倍的情况下，准确率相对原始网络下降了27第5期姚博文等：深度神经网络的自自适应联合压缩方法1.3%。相比于Hrank剪枝方法，在稀疏率大致相同时，压缩率提升了大约130.5倍。相较于HFPQ联合压缩方法，在精度损失相近的情况下，压缩率提升大约9 7.3倍。SQS在不采用1和2 bit量化位宽情况下，与SQL联合压缩方法相比，压缩率下降了34.8 倍，模型精度提升大约0.2%。VGG16在CIFAR-10上使用SQS方法进行联合压缩的实验结果如图3所示，图3以模型网络层为单位分别统计了卷积层（convolution，Co n v）和全连接层（fullconnection，Fc）的稀疏度、量化位宽以及压缩率情况。10099.5194.5395.5795.4295.7595.7795.7895.3296.0689.078076.26%/塑60402000.060.421.09FCConvlConv2Conv3Conv4ConvsConv6Conv7Conv8Conv9Conv1oConvllConv12Conv13(a)VGG16的层级稀疏度统计(a)Layer wise sparsity statistics for VGG16861.19/4420FCConvlConv2Conv3Conv4Conv5Conv6Conv7Conv8Conv9Conv1oConvllConv12Conv13(b)VGG16的层级量化位宽统计(b)Layer wise quantization bits statistics for VGG16压缩参数保留参数10078.14 87.55 84.5597.03 98.2999.15 99.58 99.43 99.4799.4799.47 99.42 99.51 99.9580%/率斯604021.862012.4515.4502.971710.850.420.670.630.630.530.580.496Fc1ConvlConvConv3Conv4ConvConvConv7Conv8Conv9Conv1oConvllConv12Conv13(c)VGG16的层级压缩率统计(c)Layerwisecompression ratio statistics forVGG16图3VGG16在CIFAR-10上使用SQS联合压缩结果Fig.3SQS compression results for VGG-16 on CIFAR-10图3（a）中，模型稀疏度总体随层级加深呈上升趋势，验证了层间连接穴余性的层级差异，且浅层的压缩敏感性高于深层；由图3（b）可以看出，为保留更丰富的低维信息，模型第一层自适应的选择了相对高的量化位宽，而对于深层网络则对数据位宽要求较低；综合上述结果，图3(c)对模型各层消耗存储资源的压缩情况以百分比形式进行了直观的比较。为更好地验证SQS压缩方法在不同网络模型上的有效性。本文分别对ResNet18/20/56/110和MobileNetV1/V2进行对比实验，实验结果如表2 和3所示。表2 ResNet在CIFAR-10数据集上压缩结果对比Table22Comparison of compression results ofResNet on CIFAR-10 datasetAve.Comp.ResNet压缩方法Acc.1/%S,/%bitsratioDDP-C-F-0.262.732.03.7xResNet18SQS1.492.13.9101.2xDSQ0.501.032.0 xAPOT0.602.016.0 xResNet20HAWQ0.202.013.1xSQL0.146.01.935.4SQS2.089.74.372.0 xHrank2.568.132.03.1xResNet56SQS2.495.14.4151.6xAPRS-0.469.232.03.2ResNet 110Hrank0.968.732.03.2SQS1.193.74.0127.9x表3MobileNet在CIFAR-10数据集上压缩结果对比Table3Comparison of compression results of MobileNeton CIFAR-10 datasetAve.Comp.ResNet压缩方法Acc./%S,/%bitsratioDPP-C-F0.563.132.02.7MobileNetV1SQS061.34.618.0 xU.INT8-1.108.04.0 xMobileNetV2ALE-1.290.032.02.7SQS0.962.64.319.7x由表2 和3可以看出，使用SQS压缩方法可在准确率损失不超过2.5%的情况下，相较于对比方法大幅提升模型压缩率。如相较于Hrank，SQ S在ResNet56上的压缩率提升了148.5倍，而准确率损失相差仅为0.1%；相较于DPP-C-F,SQS在ResNet18和MobileNetV1上的压缩率分别提升了9 7.5倍和15.3倍，而准确率损失最高仅相差1.6%3.3消融实验为进一步验证联合方法对模型性能的影响，以模型结构具有广泛代表性的ResNet20为例,基于CIFAR-10数据集进行消融实验。在相同模型结构和训练方式的基础上，表仪28报器仪第44卷学分别进行稀疏化、量化和联合压缩方法的对比实验，统计不同方法的训练损失误差。实验采用原始模型的训练过程作为对比基线，在SQS框架中分别屏蔽量化和稀疏化过程，以获得只稀疏化和只量化操作的压缩过程，与完整的联合压缩方法SQS进行对比，实验结果如图4所示。1.0一原始模型+一只稀疏化一只量化0.8SQS0.60.40.20020406080100120训练轮图4压缩方法对ResNet20在CIFAR-10上的性能影响Fig.4 Impact of compression methods on the performanceof ResNet 20 on CIFAR-10由图4可以发现，模型损失值随训练轮数的增加整体呈下降趋势。其中，在达到最大设定轮数12 0 时，SQS方法与原始模型的损失值基本相同，而只进行稀疏化和只进行量化的压缩模型损失相对较高，说明SQS方法具有更好的模型精度保持能力。此外，SQS方法在训练后仍保留了多余的量化分支，需要在量化后通过模型重建对多余分支进行删除，然而，即使删除的分支在推理过程中占比较小，但仍会对模型实际推理效果产生影响。为解决该问题，本文在联合压缩训练基础上采用微调方法对压缩后模型进行精度恢复，直至收敛到满足应用需求状态。为验证微调训练对模型压缩的作用，采用与图4中SQS方法相同的实验设置，对ResNet20在联合压缩训练和压缩后微调过程中在训练集上的精度随训练轮数的变化情况进行统计，如图5所示。为方便对比分析，联合压缩训练与压缩后微调采用相同训练轮数，且微调过程中始终保持稀疏权重处于失活状态，仅对非零权重进行更新，不损失模型压缩比。由图5可知，在联合压缩训练过程中，模型精度随训练轮数增加而不断上升，并最终收敛至9 2.8 7%；在微调过程中，模型虽基于已训练参数，但由于量化分支被去除而引人的计算误差，使其精度下降了约0.3%，之后随微调过程的进行，在经过约5轮循环后模型精度基本恢复，并因其消除了额外的量化权重干扰