基于高阶阈值算子与张量全变分的前景检测.pdf
《基于高阶阈值算子与张量全变分的前景检测.pdf》由会员分享,可在线阅读,更多相关《基于高阶阈值算子与张量全变分的前景检测.pdf(10页珍藏版)》请在咨信网上搜索。
1、河北工业大学学报JOURNAL OF HEBEI UNIVERSITY OF TECHNOLOGY2023 年 8 月August 2023第 52 卷 第 4 期Vol.52 No.4基于高阶阈值算子与张量全变分的前景检测董永峰1,4,刘沛东1,李林昊1,2,3,李英双4(1.河北工业大学 人工智能与数据科学学院,天津 300401;2.河北省大数据计算重点实验室,天津 300401;3.河北省数据驱动工业智能工程研究中心,天津 300401;4.河北工业大学 信息安全与技术服务中心,天津 300401)摘要基于鲁棒主成分分析(RPCA)的方法有一个潜在的假设,即场景中移动物体的像素是稀疏离
2、群值,其往往忽略了物体的时间和空间结构,导致这些方法在动态背景、遮挡、光照变化等场景下检测效果降低。针对这一问题,提出了一种基于张量鲁棒主成分分析(TRPCA)的张量非凸稀疏模型。首先,利用三种常见收缩算子的优点,引入了二阶广义收缩阈值算子(GSTO),探索适用于高阶张量数据的高阶广义阈值收缩算子(HoGSTO),进而提升背景建模的鲁棒性;然后,为了表征视频前景中移动目标像素之间的相关性,在视频前景建模的过程中,利用张量全变分正则化(TTV)增强前景的时空连续性;接着,通过自适应l1范数对视频中的动态成分建模,避免了对前景建模产生干扰。多个视频帧的实验结果表明,该方法在移动目标检测任务中优于现
3、有的方法,能够更好地分离前景和背景。关键词移动目标检测;张量鲁棒主成分分析;收缩阈值;张量全变分;自适应l1范数中图分类号TP391.4文献标志码AForeground detection based on tensor total variation andthreshold operatorDONG Yongfeng1,4,LIU Peidong1,LI Linhao1,2,3,LI Yingshuang4(1.School of Artificial Intelligence,Hebei University of Technology,Tianjin 300401,China;2.He
4、bei Province Key Laboratoryof Big Data Computing,Tianjin 300401,China;3.Hebei Engineering Research Center of Data-Driven Industrial Intelligent,Tian-jin 300401,China;4.Information Security and Technology Service Center,Hebei University of Technology,Tianjin 300401,Chi-na)AbstractRobust Principal Com
5、ponent Analysis(RPCA)methods have an underlying assumption that the pixels ofmoving objects in the scene are sparse outliers,which often ignore the temporal and spatial structure of objects,leadingto the reduced detection effect of these methods in dynamic background,occlusion,lighting changes and o
6、ther scenses.To solve this problem,a tensor nonconvex sparse model based on tensor robust principal component analysis(TRPCA)isproposed.Firstly,take advantage of the advantages of three common contraction operators,a second-order generalizedshrinkage is introduced.Generalized Shrinkage Threshold Ope
7、rator(GSTO)explore the high-order generalized thresholdshrinkage operator(HoGSTO)suitable for high-order tensor data,and then improve the robustness of background modeling;then,in order to characterize the correlation between moving target pixels in the video foreground in the process ofvideo foregr
8、ound modeling,tensor total variational regularization(TTV)is used to enhance the temporal and spatial continuity of the foreground;then,the dynamic components in the video are modeled through the adaptive l1 norm,whichavoids modeling the foreground Produce interference.Experimental results in multip
9、le video frames show that the proposed method is superior to the existing methods in moving target detection tasks,and can better separate the foregroundand background.Key wordsmoving object detection;TRPCA;shrinkage thresholding;tensor total variational;adaptive l1 norm文章编号:1007-2373(2023)04-0031-1
10、0DOI:10.14081/ki.hgdxb.2023.04.004收稿日期:2022-05-13基金项目:国家自然科学基金(61902106);河北省自然科学基金(F2020202028);天津市自然科学基金(19JCZDJC40000);北航北斗技术成果转化及产业化资金资助项目(BARI2001);河北省高等学校科学技术研究项目(QN2021213)第一作者:董永峰(1977),男,教授。通信作者:李英双(1986),女,工程师,。董永峰,等:基于高阶阈值算子与张量全变分的前景检测河北工业大学学报32第 52 卷0引言作为人工智能领域中的一项重要技术,计算机视觉已经越来越多地应用到了各种实
11、际任务当中,如智能视频监控、交通数据采集、车辆识别、无人驾驶等。近年来移动目标检测作为计算机视觉中的一个重要分支,受到了很多研究者的关注,大量研究人员在尝试解决移动目标检测中遇到的一系列挑战。移动目标检测的目的是将变化的区域(运动目标)从视频序列中提取出来。由于光照变化、喷泉水流、摇曳的树木等动态因素的影响使得背景发生改变,影响检测精度。此外,前景运动状态的改变也会使目标与背景难以分割1。比较经典的移动目标检测方法是Cands等2提出的鲁棒主成分分析(Robust Principal Component Analysis,RPCA)方法,由于其模型简单,在移动目标检测领域中得到了广泛的应用。R
12、PCA能够从较大且噪声污染的观测数据中恢复出本质上低秩的数据,然而,l1范数只是独立的考虑每一个像素,丢失了时空结构的约束,因此在面对复杂背景或者较小的移动目标时,l1范数不能有效地处理这些问题。为了应对上述这些挑战,近年来学者们提出了大量RPCA的扩展方法来改善移动目标检测的效果,并引入了结构化约束构建算法。Zhou等3提出一种基于运动的目标检测算法,称为低秩表示和连续离群值检测算法(Detecting Contiguous Outliers in the Low-Rank Representation,DECOLOR),该算法主要通过矩阵低秩表示中的连续突出点检测来实现运动目标检测,在优化
13、的过程中还可以对背景进行建模,同时实现运动目标的检测和背景分割的目的。虽然在检测效果上有提升,但是马尔可夫随机场4会导致其具有贪婪的特性,严格的平滑约束会使前景被过度平滑,背景区域被检测为运动目标的一部分。Xin等5为了解决由于光照变化、动态背景等因素导致前景分割包含空洞和背景噪声的问题,引入了自适应广义融合套索正则化作为一种柔性的结构,用于建模前景对象。Cao等6将三维全变分正则化和l1正则化相结合提出了全变分正则化鲁棒主成分分析算法(Total Variation Robust Principal Component Analysis,TVRPCA),利用前景的空间连续性从移动目标中将动态
14、背景分离出来,从前景的时间连续性中提取残留目标的运动轨迹并检测。Yong等7提出了基于混合高斯的在线矩阵因子分解算法(Online Mixture of Gaussians-Low-rank Matrix Factorization,OMoGMF),利用在线子空间学习与全变分相结合的方法来提升检测效果。Li等8提出了一种基于视频静止分量的非凸稀疏性模型(Generalized Shrinkage Thresholding Operator,GSTO),设计了可显示求解的广义阈值收缩算子对背景进行低秩约束,并结合背景减除和时空连续性约束来检测前景目标。在实际应用中,真实的数据结构在本质上是高阶的
15、。因此,张量结构作为向量和矩阵的自然推广,应用于移动目标检测领域。Lu等9基于张量鲁棒主成分分析(Tensor RPCA,TRPCA)框架提出了一种改进的方法结合张量核范数的张量鲁棒主成分分析方法(Tensor RPCA with Tensor Nuclear Norm,TRPCA-TNN),该方法的核心在于定义了一种新的张量核范数,旨在加强背景低秩性,更好地构造背景来恢复前景。尽管RPCA和TRPCA方法在移动目标检测中取得了一定的效果,但是在面对动态背景干扰时仍然不够稳定,并且没有同时利用背景和前景的结构特性,所以在复杂场景下对前景的检测仍有一定的难度。因此,本文提出了一种基于张量框架的非
16、凸稀疏移动目标检测方法,该方法克服了动态背景的干扰,可以检测到滞留物体,对噪声具有一定的鲁棒性。本文没有采用矩阵框架进行研究,而是将整个视频序列认为是一个三维张量空间,保留了原始视频帧之间的空间结构;利用高阶广义阈值收缩算子的自适应性对背景进行低秩约束,更加接近实际高维数据的秩,加强了背景的低秩性;同时利用张量全变分正则化(Tensor Total Variational Regularization,TTV)对前景进行建模,考虑了视频前景的时空连续性,并通过自适应l1范数对动态背景干扰部分建模,有效减少动态背景对视频前景提取的干扰,避免前景空洞现象,提升了目标检测精度。1TRPCA 模型TR
17、PCA是一种将RPCA拓展到高维空间中的模型,可以解决RPCA模型在实际情况中将三维数据重组为二维数据时信息丢失的问题。假设输入视频流为三阶张量Xpqn,其中p和q分别表示高度和宽度,n表示帧数,将观测数据X分成两部分,即背景部分Bpqn和前景部分Spqn10,表示为董永峰,等:基于高阶阈值算子与张量全变分的前景检测33第 4 期minB,Srank()B+S0,X=B+S,(1)式中:B是低秩的,S是稀疏的,rank(B)是张量B的秩,S0是张量S的l0范数,由于rank(B)和 S0是非凸的,因此需要对其进行修正,现有的方法使用张量核范数逼近张量的秩,l1范数代替l0范数,故式(1)可以表
18、示为11minB,S B*+S1,X=B+S,(2)式中:=1/max(p,q)n。本文方法采用张量结构,在不破坏输入数据原有结构的情况下,充分利用了时间和空间的连续性,与传统基于矩阵框架的方法相比,提升了模型的鲁棒性。并且,当n=1时,TRPCA转变为RPCA,即RPCA是TRPCA的特殊情况。2本文模型的建立本文在张量低秩表示和不变稀疏离群值的框架下,提出了一种新的运动目标检测公式,将输入视频分解为低秩不变的背景B和稀疏离群的前景S,进一步将动态分量细化为平滑的视频前景F和稀疏噪声E的叠加,提出了一个三向移动目标检测公式,如式(3)所示:X=B+S,S=E+F。(3)引入文献8中的GSTO
19、算法,将其应用到高阶张量空间中,利用其自适应性来对背景做低秩约束;同时利用张量全变分正则化增强前景的时空连续性,并提出自适应l1范数抑制动态背景的干扰,从而更加有效地对复杂场景下的移动目标进行检测。本文算法的流程如图1所示。2.1前景建模2.1.1张量全变分正则化移动目标占据了视频中连续的区域,因此具有空间连续性。同时,移动目标在帧之间是连续运动的,故前景目标具有时间连续性。此外,雨滴、水面波动等视频动态成分具有运动显著性,但并不具有时间连续性;滞留对象虽然运动显著性较弱,但具有空间连续性。在这种情况下,对移动目标施加时空连续性约束以抑制动态成分干扰并检测滞留对象。全变分正则项在图像去噪、图像
20、去模糊等信号处理领域有着广泛的应用,主要依靠梯度下降流来保留边缘信息并促进平滑性12,使相邻像素的差值较小。因此,本文利用张量的结构性质捕捉时间连续性,并通过TTV有效抑制背景中动态成分的干扰。视频序列用三阶张量Fxyz表示,其中x=1,2,p;y=1,2,q;z=1,2,n,各向异性TTV范数定义13如下:FTTV=x=1p-1|F(x,y,z)-F(x+1,y,z)+y=1q-1|F(x,y,z)-F(x,y+1,z)+z=1n-1|F(x,y,z)-F(x,y,z+1),(4)图 1基于高阶阈值算子与张量全变分算法流程Fig.1Based on high-order threshold
21、operator and tensor total variational algorithm flowTRPCA分解张量化输入视频ITIV自适应l1范数前景动态成分HoGSTOALM+ADMM移动目标河北工业大学学报34第 52 卷式中:F(x,y,z)表示在z时刻像素点(x,y)的灰度值,F(x,y,z)在像素点(x,y)沿水平方向、垂直方向和时间方向上的变化量分别为:Fh(x,y,z)=F(x,y,z)-F(x+1,y,z),Fv(x,y,z)=F(x,y,z)-F(x,y+1,z),Ft(x,y,z)=F(x,y,z)-F(x,y,z+1)。(5)为计算简便,本文将所有帧表示为列向量f
22、=vec(F),式中vec()表示向量化算子,通过Dhf=vec(Fh)、Dvf=vec(Fv)、Dtf=vec(Ft)3个向量差分算子表示Dh、Dv、Dt差分运算结果,Df=DhfT,DvfT,DtfTT表示级联差分运算。对不同点的所有矢量范数求和,得到各向异性张量全变分范数的定义:FTTV=i()|Dhfi+|Dvfi+|Dtfi。(6)张量全变分注重前景目标的平滑性,利用前景目标的空间连续性将运动区域中的动态背景过滤,利用时间连续性提取目标的运动轨迹,能有效抑制动态背景的干扰14。本文用Df2,1表示F的各向异性TTV范数。2.1.2自适应l1范数在实际的生活中,视频的背景通常不是静态的
23、,往往会受到许多动态成分的干扰,如喷泉、运行的电梯等,这些因素都会影响前景提取的效果15。现有方法大多使用l1范数或者l2范数作为约束项建模动态干扰成分,这2种范数一般通过预先设定的超参数来调控的约束力度,而对超参数的合理设置比较困难,致使在各种场景中的检测精度下降。相比于静态背景,动态背景可视为离群噪声;相比于稀疏离群的前景,动态背景又不具有结构特性。根据该先验知识,本文采用l1范数16作为动态背景的约束项并引入拉普拉斯分布对其显式建模,将结果转化为自适应超参数来灵活调控l1范数的约束力度。拉普拉斯分布模型17如下所示:f()x|=12exp-|x-。(7)根据式(3),可将动态背景表示为如
24、下形式:E(n)=S(n)-F(n),(8)本文通过拉普拉斯核对动态成分进行建模:w(n)ij=exp-|S(n)ij-F(n)ij。(9)由于得到的w(n)ij与E(n)ij存在分布差异,会导致过度稀疏,无法准确建模动态背景,因此本文将w(n)ij的区间放缩到E(n)ij区间中得到K(n)ij:K(n)ij=f()w(n)ij,E(n)ij。(10)动态背景E的稀疏逼近由软阈值算子导出,其定义为SAdaE(n)ij=sign()E(n)ijmax|E(n)ij-K(n)ij,0。(11)可以看出,与传统的l1范数约束项相比,本文改进的l1范数可以通过迭代求解不断更新超参数K(n)ij,使其自
25、适应调控约束力度,而不用手动设置超参数。2.2背景建模传统上,基于矩阵的算法使用单一低秩子空间约束进行背景建模,对静态背景的刻画效果较好,但无法有效表示背景中的变化成分;基于张量的算法采用张量核范数对低秩背景进行凸松弛,但其没有考虑不同奇异值对秩产生的影响,对所有的奇异值施加同等程度的惩罚,无法准确表征奇异值所代表的信息,不能充分提取出张量数据的低秩结构18。奇异值往往对应着数据中的重要信息,数据的重要性与奇异值的大小正相关,如果对奇异值进行同等程度的收缩,则会对背景信息产生严重干扰,无法构建出清晰的背景模型,背景中的动态成分也会被消除。因此,本文充分考虑到奇异值的特性,利用广义收缩阈值算子的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 阈值 算子 张量 全变分 前景 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。