基于低秩稀疏表达的弹性最小二乘回归学习.pdf
《基于低秩稀疏表达的弹性最小二乘回归学习.pdf》由会员分享,可在线阅读,更多相关《基于低秩稀疏表达的弹性最小二乘回归学习.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023 年11月郑 州 大 学 学 报(工 学 版)Nov.2023第 44 卷第 6 期Journal of Zhengzhou University(Engineering Science)Vol.44No.6收稿日期:2022-11-02;修订日期:2022-12-03基金项目:国家自然科学基金资助项目(62106052,51078334);广州市黄埔区国际科技合作项目(2021GH12)作者简介:武继刚(1963),男,江苏徐州人,广东工业大学教授,博士,博士生导师,主要从事移动智能计算、数据科学与云计算、高性能体系结构、容错计算等领域的算法技术研究与最优化问题求解,E-mail:a
2、sjgwucn 。引用本文:武继刚,李妙君,赵淑平.基于低秩稀疏表达的弹性最小二乘回归学习J.郑州大学学报(工学版),2023,44(6):25-32.(WU J G,LI M J,ZHAO S P.Low-rank sparse representation based on elastic least squares regression learningJ.Journal of Zhengzhou University(Engineering Science),2023,44(6):25-32.)文章编号:1671-6833(2023)06-0025-08基于低秩稀疏表达的弹性最小二乘回
3、归学习武继刚,李妙君,赵淑平(广东工业大学 计算机学院,广东 广州 510006)摘要:为了克服重定向最小二乘回归模型容易破坏回归目标的结构的缺点,提出了一种基于低秩稀疏表达的弹性最小二乘回归学习模型 LRSR-eLSR。模型以最小二乘回归为基础,不使用严格的 0-1 标签矩阵作为目标矩阵,而是引入边距约束来直接从数据中学习回归目标,可以在保持回归目标低秩结构的同时,增加回归模型的灵活性。而且,为了捕获数据的结构信息,利用了数据的低秩表示来保持数据的结构。在计算的过程中,考虑问题求解的复杂性,使用了核范数正则化代替秩函数。除此之外,模型还引入了一个带有 L2,1范数的稀疏误差项来补偿回归误差,
4、这有利于学习更灵活地变换。模型还对投影矩阵施加额外的正则化项,来避免过拟合问题。实验结果表明:在4 个公开的数据集上,所提模型的识别准确率优于其他方法;在 COIL-20 数据集中,识别率可达到 98%。关键词:稀疏表达;最小二乘回归;低秩表示;灵活性;稀疏误差项中图分类号:TP181文献标志码:Adoi:10.13705/j.issn.1671-6833.2023.03.011最小二乘回归(least squares regression,LSR)是统计学理论中一种典型的数据分析工具,通过最小化实际值和预测值的差值平方和来学习投影矩阵。基于 LSR 已经研究出了许多经典模型,但是,传统的 L
5、SR 模型存在 3 个主要问题。第 1 个问题是大多数 LSR 方法在分类中使用严格的 0-1 标签矩阵作为回归矩阵,使得来自不同类别的样本之间的回归响应的欧氏距离是一个常数值 2,这样学习到的投影矩阵的判别能力较弱。Ma等1提出了判别最小二乘回归(discriminative least squares regression,DLSR),通过使用-dragging 技术扩大不同类别之间的距离,但拖动过程中违背了类内距离要尽可能小的分类原则2。Wen 等3提出了基于类间稀疏性的判别最小二乘回归模型(inter-class sparsity based discriminative least
6、square regres-sion,ICS_DLSR),使用具有行稀疏性约束的误差项来松弛严格的二元标签矩阵,学习更灵活地变换矩阵。重定向最小二乘回归(redirected least squares regression,ReLSR)4直接从数据中学习回归目标。Zhang 等5提出了弹性网正则化线性回归(elastic-net regularized linear regression,ENLR)框架,在真类和假类之间对学习回归目标施加约束来扩大不同类别的边距,但是在学习过程中很容易破坏回归目标的结构。因此,Zhao 等6提出了基于低秩类间稀疏性半灵活性目标最小二乘回归方法(low-ran
7、k inter-class sparsity based semi-flexible target least squares regression,LIS_StLSR),通过改进学习回归目标的约束,更准确地建模回归误差,并在训练过程中保留回归目标的结构。第 2 个问题是基于 LSR 的方法对噪声的敏感性。在实际应用中,由于图像在获取、发布或传输过程中受到噪声的干扰7,导致同一个类别的训练样本和测试样本之间的差异可能很大。对于噪声数据的分类问题,适当地降低类边距通常可以有更好的分类精度。Peng 等8使用 negative-dragging 技术来确定不同类别之间的适当边距。赵雯等9提出的判别
8、低秩表示(discriminative low-rank representa-tion,DLRR)算法可以在遮挡的训练样本中分离出相对干净的图像。Bao 等10提出了基于松弛局部保 持 回 归(relaxed local preserving regression,RL-PR),使用了 L2,1范数替代损失函数的 LF范 数。Fang 等11将原始数据分解为一个“干净”的分量加上稀疏的噪声分量,使用了一个稀疏项来补偿回归误差,这有助于在回归过程中抑制噪声的干扰。杨26 郑 州 大 学 学 报(工 学 版)2023 年章静等12提出一种基于潜在子空间去噪的学习图像分类方法(denoising
9、latent subspace based subspace learning,DLSSL),在原始空间和标签空间中间引进一个潜在子空间,将学习分成了 2 个过程,对样本先进行降噪处理,然后使用潜在子空间中的“干净”数据进行回归分类。第 3 个问题是传统的 LSR 没有过多关注样本之间的相关性和标签的类内紧凑性,这会破坏数据的基础结构并导致过拟合问题。ICS_DLSR3在最小二乘回归模型中引入了类间稀疏性约束,使转换后的样本在每个类别中具有共同的稀疏结构,有效地 利 用 样 本 之 间 的 相 关 性。基 于 低 秩 表 示(low-rank representation,LRR)的模型很容易
10、捕获数据的全局结构。钟堃琰等13提出对通过-dragging技术所得的松弛矩阵施加低秩约束,可以提高其类内紧凑性,保证了回归标签的类内相似性。Chen等14将 Fisher 判别准则和-dragging 技术集成到一个模 型 中 提 出 了 Fisher 判 别 最 小 二 乘 回 归 模 型(fisher discriminative least squares regression,FDLSR),Fisher 准则可以提高松弛学习过程中松弛标签的类内紧凑性和相似性。在 FDLSR 中还证明了 DLSR 的本质是基于 L2范式的支持向量机的松弛版本。因此,本文提出一种基于低秩稀疏表达的弹性最
11、小 二 乘 回 归 学 习(low-rank sparse representation based elastic least squares regression,LRSR-eLSR)模型。引入半灵活性的回归目标矩阵,将 0-1 目标松弛为更可行的变量矩阵,为不同类别的样本提供合适的边距,并且不会轻易破坏回归目标的结构。同时,为了避免结构信息的丢失,引入低秩约束来学习具有判别性的投影矩阵,捕获数据不同类别的底层结构。除此之外,引入了具有行稀疏性的误差项,可以从噪声或损坏的数据中稳健地提取特征。模型的流程如图 1 所示。图 1模型框架图Figure 1Model frame diagram1
12、相关工作X 为来自 c 个类别的 n 个训练样本的训练集,X=x1,x2,xnRdn,其中 d 为每个样本的特征维数。LF范数、L2,1范数和核范数的计算分别为X2F=di=1nj=1X2ij=tr XXT()=tr XTX();(1)X2,1=di=1Xi,:2=di=1nj=1X2ij;(2)X=i|i|。(3)式中:XT为矩阵 X 的转置;为矩阵的奇异值。1.1最小二乘回归(LSR)最小二乘回归的目标是学习一个将训练数据转换为二进制标签空间的最优投影矩阵,常见函数表示为minWWX-Y2F+W2F。(4)式中:WRcd为投影矩阵;0 为正则化参数。Y为对应于数据集 X 的 0-1 标签矩
13、阵,定义如下:如果训练样本 xi来自第 k 个类别,则列向量 yi的第 k 个元素为 1,其余元素为 0,Y=y1,y2,ynRcn。将式(4)中的第 1 项看作损失函数,第 2 项表示广泛使用的 L2正则化,用来避免过拟合。1.2重定向最小二乘回归(ReLSR)ReLSR 的核心思想是通过关注相对值,直接从数据中学习回归目标矩阵,能够提高多分类的性能。模型在学习过程中对目标矩阵进行直接优化,约束每个样本其真类和假类目标之间的差值应大 于 1,将 其 表 达 为 一 个 优 化 问 题,如 式(5)所示:minW,H,bWX+enbT-H2F+W2F;s.t.Hi,yi-maxjyi Hi,j
14、 1,i=1,2,n。(5)式中:H 为目标矩阵;en为全为 1 的行向量;b 为偏差向量。ReLSR 在学习的过程中会对 H 重复更新,初始化 H 可以令 H=Y。ReLSR 的目标矩阵是通过只关注不同类别对应的相对值来学习的,以保证大多数数据点的正确分类。1.3基于低秩类间稀疏性的半灵活性目标最小二乘回归(LIS_StLSR)LIS_StLSR 与 ReLSR 一样,都是在学习中更新目标矩阵,但是,LIS_StLSR 采用半灵活性的回归目标矩阵与低秩类间稀疏约束相结合,学习到目标矩阵可以保证对每个数据点的正确分类的要求有很大的限制并且不会破坏回归目标原有的结构,不会影响到下一次迭代训练中的
15、回归性能。LIS_StLSR 的目标函数如(6)式所示:第 6 期武继刚,等:基于低秩稀疏表达的弹性最小二乘回归学习 27 minW,Z,H12H-WX2F+12W2F+2ci=1WXZi2,1+3Z;s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(6)式中:Z 为低秩表示矩阵;WXZi2,1为低秩类间约束项。LIS_StLSR 通过训练样本的“干净”表示来实现类间关系,使得共享同一标签的投影样本保持共同的稀疏结构,同时,利用训练样本的低秩表示进行类间稀疏学习。2本文模型2.1提出问题和新的回归模型传统的最小二乘回归模型使用了严格的二元标签矩阵作
16、为目标矩阵。从几何学的角度,不同类别样本的距离应该要尽可能大,而同一个类别的样本之间的距离尽可能小,学习到的回归目标更具有判别力,可以增加回归模型的灵活性。不同于 DLSR使用-dragging 技术放松标签矩阵,模型通过对真假类别之间的学习目标实施约束直接从数据中学得回归目标,并引入一个稀疏误差项 E 以放松标签矩阵。将上述表达为一个优化问题,如式(7)所示:minW,E,H12H+E-WX2F+1W2F+2E2,1;s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(7)式中:1和 2均为正则化参数。与 0-1 矩阵 Y 相比,目标矩阵 H 可以
17、直接从数据中学习,可以更准确地测量回归误差。为了在学习过程中捕捉数据相关的底层结构,根据低秩最小化的性质,对式(7)中转换矩阵 W 使用 LF范数,同时添加低秩约束。构建的目标函数为minW,E,H12H+E-WX2F+1W2F+2E2,1+3rank W();s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(8)式中:3为正则化参数;rank()表示矩阵的秩。由于秩函数的离散性,式(8)是一个非凸非光滑问题,所以很难求解,根据文献15,将秩函数替换为核范数正则化可以得到上述优化问题的凸松弛形式,对式(8)重新构造:minW,E,H12H+E-WX
18、2F+1W2F+2E2,1+3W;s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(9)考虑求解问题,对式(9)中的核范数利用公式转化为 LF范数进行统一求解,根据文献5 中的Theorem 1,对于任意的矩阵 W,可以得到:W=minW=ABAFBF=minW=AB12AF+BF()。(10)由式(9)和式(10),可以得到最终的目标函数,如式(11)所示:minW,E,H12H+E-WX2F+1W2F+2E2,1+32A2F+B2F();s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(11)2.2
19、模型求解对目标函数(式(11)使用 ADMM 算法16进行优化求解,其增广拉格朗日函数为L W,E,H,A,B()=12H+E-WX2F+1W2F+32A2F+B2F()+2E2,1+2W-AB+C2F。(12)式中:C 为拉格朗日乘子;0 为罚参数。对于式(12),在其他参数固定的情况下交替求解 W、E、H、A 和 B。具体解决步骤如下。步骤 1更新 W。固定 E、H、A 和 B,可以通过最小化以下目标来获得 W。L W()=12H+E-WX2F+1W2F+2W-AB+C2F。(13)式(13)中,通过将 L(W)相对于 W 的导数设置为零,可以获得最佳 W。即L(W)W=-H-E+WX()
20、XT+1W+W-AB()+C=0。(14)由式(14)可以得到 W 的最优解为W=XXT+(1+)Id()-1H+E()XT+AB-C()。(15)式中:Id表示维数为 d 的单位向量。步骤 2更新 E。固定其他参数,令 U=WX-H,可以通过最小化以下基于 L2,1范数的目标函数来获得 E。Ej,:=Uj,:2-2Uj,:2Uj,:,Uj,:2 2;0,其他。(16)28 郑 州 大 学 学 报(工 学 版)2023 年式中:Ej,:和 Uj,:分别表示 E 和 U 的第 j 行向量。步骤 3更新 A。固定其他参数,通过对 A 进行求导,令导数为 0,可以得到 A 的闭式解为A=C+W()B
21、T3Ir+BBT()-1。(17)步骤 4更新 B。固定其他参数,通过对 B 进行求导,令导数为 0,可以得到 B 的闭式解为B=3Ir+ATA()-1ATC+W()。(18)步骤 5 更 新 H。令 S=WX-E,公 式 如 下所示:minHH-S2F;s.t.Hrj,j-maxi=rj Hrj,j 1,Hrj,j-maxirj Hrj,j 2。(19)将式(19)分解为 n 个独立的子问题求解得到H 的最优解,每个子问题都对应 H 这一行的学习,则每个子优化问题可以表示为minhh-s22=ni=1(hi-si)2;s.t.hk-maxi=k hi 1,hk-maxik hi 2。(20)
22、式中:k 表示行的真类索引;i 表示在 h 中最大值的索引。更新式(20)为h=maxi=k yi+1,i=k;maxi=k yi+2,i k。(21)步骤 6更新 C 和 为C=C+W-AB();=min(,max)。(22)式中:和 max均为数值很小的正参数。根据上述求解过程可以得到学习的投影矩阵W,对任何测试样本 y,其投影样本为 Wy,使用最近邻分类器对其进行分类。2.3计算时间复杂度LRSR-eLSR 模型的主要耗时是在逆矩阵的运算上,式(13)中的时间复杂度为 O(d3);式(14)的时间复 杂 度 为 O(r3);式(15)的 时 间 复 杂 度 为O(r3)。对于矩阵的加、减
23、、乘,计算成本可以忽略不计。因此,本文所提出的方法的主要计算成本是O(t(d3+2r3),其中 t 表示迭代次数。3实验结果与分析将 本 文 模 型 与 其 他 算 法 进 行 比 较,包 括LRDLSR17、FDLSR14、SALPL15、CDPL18、DLSR1、ReLSR4和 SN-TSL19。所 有 实 验 均 在MATLAB R2018b 中进行,操作系统为 Windows 10。3.1数据集Extended Yale B 数 据 集:由 38 人 提 供 的2 414 幅图像,每 个 类 别 有 59 64 个 正 面 图 像,具有不同的照 明。实验中使 用的 所 有 图 像 都
24、提前调整为 32 32 像素。然后从每个类随机抽取10、15、20、25 张图像作为训练集,其余样本作为测试集。LFW 数据集:包含了 1 680 个在无约束条件下拍摄对象的 13 000 多张人脸图像。在这个实验中,使用了一个包含 86 个人共 1 251 张图像的子集,每个受试者只有 1020 张图像。在实验中,将图像尺寸调整为 3232 像素,随机选择每个受试者的 5、6、7、8 张图像作为训练样本。COIL-20 数据集:包含了 20 个物体,每个物体有 72 个灰色图像,这些图像是从不同方向拍摄的。在实验中,对每个图像进行下采样,使其具有 3232 像素,从每个类随机抽取 10、15
25、、20、25 张图像作为训练集。MNIST 数据集:一个包含 09 的手写数字数据集,该数据集包含 60 000 个用于训练和 10 000 个用于测试的图像,图像尺寸为 28 28 像素。在实验中,从每个类随机抽取 40、60、80 和 100 张图像作为训练集。3.2结果与分析实验重复执行 10 次并记录平均准确率。对于二分类问题,样本将根据真实类别与学习器预测类别组合为 4 种情况,如表 1 所示。表 1二分类混淆矩阵表Table 1Binary confusion matrix table真实类别预测类别正类反类正类TP(真正类)FN(假反类)反类FP(假正类)TN(真反类)准确率 A
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 稀疏 表达 弹性 最小 回归 学习
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。