融合多尺度特征与多分支预测的多操作检测网络.pdf
《融合多尺度特征与多分支预测的多操作检测网络.pdf》由会员分享,可在线阅读,更多相关《融合多尺度特征与多分支预测的多操作检测网络.pdf(12页珍藏版)》请在咨信网上搜索。
1、面对不断进步的图像编辑技术,发展相应的图像取证技术显得尤为重要.针对现有图像篡改检测技术中存在的可检测操作类型单一、鲁棒性不强、篡改区域定位不足等问题,提出一种基于卷积神经网络的多操作图像篡改检测方案.在该网络中,通过构造基于残差块的卷积流以提取操作特征.然后,设计一个多尺度特征融合模块,实现不同尺寸的操作特征融合.最后,将融合后的操作特征输入多分支预测模块进行篡改类型预测与定位,得到多操作检测结果.本文制作了多操作图像篡改数据集,对提出的网络模型进行训练和测试.实验结果表明,本文方案与主流的目标检测网络相比,能够更准确地对篡改区域进行定位,参数量更少,且对常见的图像后处理具有更好的鲁棒性.关
2、键词:图像取证;多操作检测;目标检测;深度学习中图分类号:TP391.4 文献标志码:AMulti-manipulation Detection Network Combining Multi-scale Feature and Multi-branch PredictionZHU Xinshan1,LU Junyan1,GAN Yongdong1,REN Honghao1,WANG Hongquan1,XUE Juntao1,CHEN Ying2(1.School of Electrical and Information Engineer,Tianjin University,Tianji
3、n 300072,China;2.Beijing SGITG-ACCENTURE Information Technology Co.Ltd.,Beijing 100052,China)Abstract:With the continuous development of image editing technologies,it is particularly significant to develop image forensics technologies for image content security.Most existing forensics methods concen
4、trated on single image manipulation detection but with weak robustness and no considerations on tampering location.This paper presents a multi-manipulation image forgery detection method based on convolutional neural network.In this network,a convolution flow based on residual block is constructed t
5、o extract manipulation features.Then,a multi-scale feature fusion module is designed to achieve operational feature fusion at different scales.Finally,the fused manipulation features are fed into the multi-branch prediction module,predicting the type and location of each utilized manipulation as the
6、 multi-manipulation detection results.An image dataset produced by multiple typical image manipulations is built to train and test the proposed network.The experimental results show that the proposed scheme can recognize the type of tampered manipulations and locate the tampered area more accurately
7、 with fewer parameters,and has better robust 收稿日期:2022-07-07基金项目:国家自然科学基金资助项目(61972282,61971303),National Natural Science Foundation of China(61972282,61971303)作者简介:朱新山(1977),男,辽宁新民人,天津大学副教授,博士 通信联系人,E-mail:文章编号:1674-2974(2023)08-0094-12DOI:10.16339/ki.hdxbzkb.2023285第 8 期朱新山等:融合多尺度特征与多分支预测的多操作检测网络n
8、ess to common image post-processing operations,compared with the state-of-the-art object detection networks.Key words:image forensics;multi-manipulation detection;object detection;deep learning随着图像采集设备的普及和图像编辑软件的快速发展,近年来数字图像的伪造现象也越来越多.数字图像取证技术的基本思想是从图像中提取篡改痕迹的统计特征,建立分类器对篡改进行识别和判断,以获取操作的历史信息.目前,已经研究的
9、取证技术包括图像来源取证、篡改操作取证、复制粘贴取证、图像修复取证等,这些取证技术都可以反映图像的完整性和真实性1.本文主要研究了对图像操作篡改的检测方法,图像操作篡改取证是当前在取证领域活跃的研究方向.可用于图像篡改的操作主要包括滤波操作、图像压缩操作、图像重采样操作等2.图像篡改操作检测不需要过多关注图像的语义信息,主要研究各种操作对图像信号统计规律的影响.并且,操作检测可以挖掘篡改区域与无篡改区域之间的操作历史不一致性,间接实现图像复制粘贴、合成等篡改检测.目前已有的图像篡改检测方法主要可以分为两类,一类是基于传统方法的篡改检测,另一类是基于深度学习的篡改检测.传统方法主要利用手工设计的
10、特征来描述篡改检测模型.Chen等人3通过分析中值滤波图像像素与邻域像素的差值的关系,将全局概率特征与局部相关特征进行融合,得到全局-局部特征集(Global and Local Feature Set,GLF),并基于 GLF 特 征 设 计 检 测 器 进 行 中 值 滤 波 检 测.Vazquez-Padin 等 人4通 过 奇 异 值 分 解(Singular Value Decomposition,SVD)提取图像的渐进特征值,发现真实图像与经过上采样的图像存在差异,由此设计了一种能够发现重采样痕迹的图像取证检测器.李晟等人5利用JPEG合成图像中往往存在质量因子不一致性或分块位置不
11、一致性的特点,判断图像是不是JPEG压缩合成图像.Yang等人6提出了一种基于误差的统计特征提取方案来解决双重JPEG压缩取证问题.首先,通过解压缩JPEG图片生成重建图像,进而可以计算压缩图像与重建图像之间的量化误差和截断误差.然后,根据误差构造统计特征.最后,采用支持向量机来识别图像是不是经过双重压缩的.Wang等人7对篡改图像使用似然对数滤波器提取关键点,并用鲁棒的特征来描述,以检测图像是否存在拷贝-粘贴操作.De Rosa等人8提出了一种基于二阶共生矩阵的对比度增强取证方案,通过计算共生矩阵每一列的标准差进行特征检测.Fan等人9采用高斯混合模型(Gaussian Mixture Mo
12、del,GMM)对不同类型的操作图像进行统计分析建模,提取通用特征以检测不同类型的图像操作.该方法需要构建多个二分类器进行分类检测,操作复杂,而且鲁棒性不强.谢伟等人10提出了一种基于局部色彩不变量的图像篡改检测方法,具有较快的检测速度且鲁棒性较好.张旭等人11根据篡改区域与真实区域之间的光照不一致性,提出了一种透视投影下空间光照估计方法,可以检测图像是否经过拼接篡改操作.孙鹏等人12利用自动白平衡方法对图像块的色温进行估计,实现了图像篡改的检测与定位.传统方法通常需要手动设计特征,但手动设计特征非常困难.而且,特征提取和分类器分开设计,无法实现二者的同时优化.近些年,深度学习已经在许多领域取
13、得了巨大成功13-16,学术界已经开始研究基于深度学习的图像取证技术.Zhang等人17使用离散傅里叶变换将空间域图像转化到频域中,然后输入到卷积神经网络(Convolutional Neural Network,CNN).其通过训练两个卷积的偏置项,舍弃部分与中值滤波无关的频率信息.Barni等人18针对两次JPEG压缩提出了改进的基于CNN的取证方案.该网络具有相对复杂的结构,可以自动学习操作特征,而且能够检测有序的和无序的二次 JPEG 压缩.Zhang 等人19将 VGG(Visual Geometry Group)网络提取的特征分成两个路径输出给两个网络,分别用于提取Gamma校正的
14、操作痕迹和直方图均衡的操作痕迹.该方案可实现对全局对比度的检测,并对中高质量的JPEG压缩具有很强的鲁棒性.Kumawat等人20利用非JPEG压缩图像和无损JPEG压缩图像之间DCT系数分布的差异性,构建检测模型,以检测无损JPEG压缩,拓展了研究方向.为确定图像拼接的位置,Pomari等人21把图像变换到亮度空间,再将亮度空间特征输入ResNet22,分类器采用了SVM.该方案可获得96%的区域定位精度.Zhu等人23提出一种基于自注意力机制和残差结构95湖南大学学报(自然科学版)2023 年的篡改检测网络.首先,结合空间和通道注意力自适应的捕捉上下文特征.然后,使用深度匹配方法计算特征图
15、之间的相关性并生成粗糙掩码.最后,用能够保留目标边界结构的残差细化模块对掩码进行优化,实现像素级的篡改检测定位.Zhang等人24提出了一种基于扩散的图像修复的取证分析方法,该方法采用改进的编码解码网络来组成特征金字塔(Feature Pyramid Network,FPN),以提取多尺度篡改特征,完成图像修复取证.Kim等人25提出建立一个双流神经网络,一个是受限的CNN,一个是马尔可夫网络,前者接收原图,后者接收图像的DCT系数,然后,将两个CNN的输出组合在一起进行操作检测.该方案具有一定程度的通用图像篡改检测功能,且提升了对JPEG压缩的鲁棒性.田秀霞等人26提出了一个双通道的全卷积网
16、络结构,深度挖掘彩色图像和隐写分析通道的篡改痕迹,可以实现图像篡改检测任务.钟辉等人27提出并行空洞卷积层和通道注意力模块,能够获取更全面的上下文信息.朱叶等人28设计了一个端到端的高分辨率扩张卷积注意力网络,具有较优的检测性能和泛化性.陆璐等人29使用最新的Transformer结构与卷积神经网络融合,使模型能够检测不同大小、形状的篡改区域.最近,也有少量研究采用目标检测框架构建篡改检测网络.Zhou等30提出了基于Faster R-CNN的双流网络实现篡改区域定位的方法.其中,以空域图像作为输入的RGB流负责提取边界信息.再使用空域富隐写模型31(Spatial Rich Model,SR
17、M)滤波器将空间域图像转换成噪声图像,使用噪声流捕捉噪声图像的篡改痕迹.最后,通过双线性池化操作融合双流信息用于分类和边框回归.在此基础上,Chen32 摒弃了 SRM 滤波,改为通过 CNN 来提取噪声图像特征,并引入残差网络提取特征,从而提高了检测效果.然而,这两种方法只适用于单种操作的检测及定位.通过总结图像篡改检测的研究现状,我们发现已有的图像取证技术存在以下问题:1)不能同时对多种操作类型进行取证.现有图像篡改检测方法大多是针对某种特定的篡改操作设计对应的检测模型,一旦有多种操作需要检测,则需要使用多个不同的检测器,效率较低,普适性不强.2)不能对出现在同一幅图像的多种操作类型进行取
18、证.图像伪造者往往使用多种篡改操作对图像进行处理,多种操作同时出现在图像中可能会使单一类型的操作检测失效,增大取证的难度.针对单幅图像的多操作检测具有更高的普适性,但这方面的研究目前非常少.3)现有图像篡改检测大多是针对操作的特定参数设计.比如针对特定滤波核参数设计得到的高斯滤波篡改检测器,一旦伪造者更改滤波核尺寸和方差等参数,则检测效果下降甚至检测失效.4)现有的方法大多对图像进行全局的判断,检测篡改操作是否发生.然而,伪造者一般只对图像进行局部篡改,如何定位局部篡改操作是个值得研究的问题.针对当前图像篡改检测技术中存在的不足之处,本文将目标检测技术应用于图像篡改检测,设计了一种多操作图像篡
19、改检测网络.网络结构主要分为残差主干网络、多尺度特征融合模块和多分支预测模块.该方法实现了单幅图像的多操作篡改检测,且具有较好的鲁棒性.1 多操作图像篡改检测问题本文需要设计基于深度学习的目标检测方案来对图像中的多种篡改操作目标进行检测和定位.更具体来说,先指定多种篡改操作类型,针对图像中存在的所有篡改操作目标,本文的方法可以检测出图像中所有篡改操作目标的最小包围矩形框以及对应的操作类型.1.1 多操作图像篡改模型为了更直观了解图像中的局部篡改操作,本文用图1展示篡改操作过程.图中ImgA表示原图,在图中随机选择操作区域得到ImgB.为了提高检测器的实用性,本文设计的检测方法需要对不规则区域进
20、行检测,所以选择的操作区域也是不规则的,更加符合一般情况.接下来再对每个区域随机选择一种操作进行篡改,得到篡改后的ImgC.值得一提的是,篡改前后的图像ImgA和ImgC从视觉上难以区分,计算机图像取证技术从统计特征方面来分析图像是否经过篡改将是更加准确和高效的.当前图像取证领域对图像的多操作局部篡改缺少明确的数学模型描述.为了更清晰地理解这个问图1 多操作篡改示意图Fig.1 The process of image multi-operation tampering96第 8 期朱新山等:融合多尺度特征与多分支预测的多操作检测网络题,本文构建了图像的多操作局部篡改的数学模型.输入图像用I(
21、u,v)表示,从原图像素到操作后像素的映射关系用F表示,不同的篡改操作对应不同的F,则对于输入图像I(u,v),经过多操作局部篡改操作后的图像I(u,v)可以表示如下:I(u,v)=F()I()u,v,if()u,v SI()u,v,otherwise(1)式中:(u,v)表示像素坐标,S表示所有操作目标的像素点坐标集合.1.2 篡改操作与视觉语义目标的差异本文虽然将篡改检测定位问题视为目标检测问题进行解决,但是通用的目标检测方法所提取的特征偏重内容特征,而篡改操作遗留的痕迹称为操作特征,二者存在很大的差异.研究者通过设计实验3334,证实了中值滤波操作遗留的痕迹特征其实是一种“弱特征”,该特
22、征不容易被CNN提取.同理,其他大多数篡改操作特征都存在该特性,所以需要对篡改检测网络进行针对性设计和改进.2 多操作篡改检测网络架构本文设计了以残差块卷积流作为提取篡改操作特征的主干网络,并联合多尺度特征融合与多分支预测模块,构建一种多操作检测深度卷积神经网络.如图2所示,网络结构由三部分组成:主干网络、多尺度特征融合和多分支预测.输入图像为RGB三通道图像,尺寸为300 300 3,经过主干网络提取特征,使用特征金字塔网络结构融合不同尺度的特征,得到一组多尺度特征图,然后在具有不同感受野的多尺度特征图上进行类别预测和边框位置回归,得到预测结果.测试模式的推理阶段,会将所有预测结果进行非极大
23、值抑制,去除冗余的预测目标,得到最终的输出结果.2.1 主干网络结构设计主干网络的主要作用是从输入数据中提取特征,能够提取到有效的特征是提高目标检测精度的关键.基于CNN的主干网络从数据中学习特征,比传统手工设计的特征具有更好的泛化能力,使模型具有更好的性能.但是,随着CNN卷积层数的增加,会产生梯度消失和梯度爆炸问题.残差网络中的跳跃连接结构很好地解决了这个问题,让网络能够更深,模型拟合能力更强.研究者提出基于残差的局部描述子,可以看作是一个简单的约束CNN用于实现篡改检测,能区分篡改区域和非篡改区域.本网络结构的主干就是卷积层堆叠的同时,添加跳跃残差连接,图2 多操作图像篡改检测网络结构F
24、ig.2 The architecture of multi-operation image tampering detection network97湖南大学学报(自然科学版)2023 年形成卷积块残差流.如图 2 所示,主干网络首先将输入图像送入block-0,经过步长为2的跨步卷积、批归一化(Batch Normalize,BN)、ReLU 非线性激活函数和步长为 2的最大池化,对输入图像降低分辨率的同时增加通道个数,减少计算量和显存占用.接下来是四个结构相似的特征提取块,单个模块结构如图3所示.每个特征提取块由两个残差单元组成,每个残差单元由3 3卷积、ReLU、BN组成.使用S1和S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 尺度 特征 分支 预测 操作 检测 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。