融合帧内与帧间技术的数字视频篡改检测方法.pdf

随着技术的日益更新，视频很容易被篡改，为了对视频篡改进行准确的检测，提出融合顿内与帧间技术的数字视频篡改检测方法。首先，通过DCT求出视频图像中的每一顿能量谱，利用图像频域摘和低高频比所求出的可疑度对图像篡改顿进行描述。然后为了获得视频图像目标清晰的轮廓信息，对差分二值图分别进行数学形态学处理与或运算，求出图像可疑顿的运动前景，定位图像顿具体被篡改的位置。最后对于视频顿间篡改采用直方图相交法，通过横向/纵向对图像的截取获得像素线，计算出邻近像素带间的关联性，判断视频是否发生顿间篡改。实验结果表明，通过图像能量可疑度分布与图像连接处的像素带相关度，可以准确判断出图像被篡改的位置，充分验证所提方法的有效性。关键词：频域嫡；可疑度；数学形态学处理；直方图相交法；关联性中图分类号：TP391文献标识码：BDigital Video Tamper Detection Method IntegratingIntra-Frame and Inter-Frame TechnologyDONG Chun-li 1,HU Xian-fen2(1.Civil Aviation Flyight University of China,Guanghan Sichuan 618307,China;2.Science and Technology,Southwest University,Mianyang Sichuan 621010,China)ABSTRACT:With the increasing update of technology,video is easy to be tampered with.In order to accurately de-tect video tampering,a digital video tamper detection method integrating intra-frame and inter-frame technology isproposed.Firstly,the energy spectrum of each frame in the video image was obtained by DCT,and the image tamperedframe was described by the suspicious degree obtained by image frequency domain entropy and low high-frequencyratio.Then,in order to obtain the clear contour information of the video image target,the differential binary image wasprocessed by mathematical morphology and or operation respectively,the motion prospect of the image suspiciousframe was obtained,and the specific tampered position of the image frame was located.Finally,for video inter-frametampering,the histogram intersection method was used to obtain pixel lines through horizontal/vertical image intercep-tion,and then calculate the correlation between adjacent pixel bands to judge whether video inter-frame tampering oc-curs.The experimental results show that through the correlation between the image energy suspicious degree distribu-tion and the pixel band at the image connection,the tampered position of the image can be accurately determined,andthe effectiveness of the proposed method is fully verified.KEYWORDS:Frequency domain entropy;Suspicious degree;Mathematical morphology processing;Histogram in-tersection method;Relevance1引言在信息大爆炸时代，信息传播速度非常快，数字视频作为信息的载体之一，占据着互联网总体流量的8 5%1。现实收稿日期：2 0 2 1-12-2 3修回日期：2 0 2 2-0 4-11生活中，伴随着视频剪辑软件的不断更新，视频剪辑成为一项很简单的工作，甚至有些不法分子对视频进行恶意篡改，使篡改后的视频很难通过肉眼分辨出来，因此如何高效准确的对篡改后的视频进行分辨已成为驱待解决的问题之一2 视频改主要分为时域和空域两类篡改。时域上的篡改主要是对视频整顿进行删除或添加等操作；空域上的篡改183主要是对顿图像上的目标进行删除或添加操作。根据数字视频篡改的类型，,需要采用不同的检测方法3-5。由于视频篡改检测已成为研究的热门，吸引了不少研究人员，因此一直有新的方法被提出来。文献6 通过时域TCS-LBP算子反映同一空间中当前视频帧与前后若干视频帧的像素位置关系，并计算出当前图像的TCS-LBP特征值，利用特征图像对视频的每一帧都进行检测，判断该帧是否是复制顿,并定位出视频篡改的边界，实验结果表明，该方法对视频篡改的检测性能良好。文献7 为了提高视频匹配的准确率，在图像提取的特征点引人颜色不变信息量，按照结构相似度将视频分段处理，并对每段的关键顿进行提取，利用目标跟踪方法计算篡改后视频顿的位置，实验结果表明，该方法鲁棒性较好。文献8 通过对视频时间与空间信息的计算，对视频进行分组处理，结合SVM-RPE算法排序视频顿的VQA特征,采用顺序前向算法与Adaboost分类器对排序的特征进行融合，实验结果表明，该方法大大提高了视频篡改的检测精度，但视频分组策略需要进一步完善。本文通过改进的三帧差法对图像顿内篡改进行检测，对时域上被篡改的可疑进行定位，并在空域上确定可疑顿的具体位置。针对顿间视频篡改检测采用直方图相交法，将图像篡改连接处的非连续性转换为像素带间的连续性，减小计算量。2数字视频帧内篡改检测顿内篡改是对视频区域内部进行改，主要有目标移入和移除两种篡改方法。为了提高视频篡改检测过程中的计算效率、降低视频采集的数据量，采用具有静止背景的视频顿内篡改检测方法，不仅能够准确定位视频顿内篡改位置，还能够较好的确定时域上各种压缩格式的视频篡改可疑帧。在视频的时域定位上，对图像的能量可疑度定义进行改进，使可疑度算法对图像能量的识别更加灵敏。在视频的空域定位上，采用改进的三顿差法对视频顿内篡改进行定位。视频帧内目标移除篡改检测过程如图1所示。检测视频-DTC变换空域频域能量频域嫡-定位顿间篡改/1数学形态学处理三顿差法：时1域1定位顿内篡改1图1视频顿内目标移除篡改检测过程本文主要将视频篡改检测分为时域上和空域上篡改定位两部分。首先通过DCT求出检测视频图像每一顿的能量谱，用频域摘和低高频比对能量的可疑度进行描述。然后在空域上利用改进的三帧差法求出图像可疑顿的运动前景，定位图像顿具体被篡改的位置。2.1时域篡改检测方法数字视频的成像受到设备原本噪声和外部噪声的干扰，导致图像中存在噪声，因此利用DCT的去噪能力，使图像能量集中到系数上，实现图像的降噪处理。DCT变换可以较好的描述图像信号的相关特性，二维DCT的值用公式可表示为M-1N-12Z(a,b)E(c)E(d).a=06=022Tac+TC.F(c,d)cos(1)MN2M2Tad+dcos2N且(V2=0E(c)或(E(d)=(2)(1,其他其中,a和c的取值范围为 0,1,M-1;b和d的取值范围为10,1,.,N-11。数字视频图像经过DCT处理后，能量主要集中在DCT系数矩阵的低频部分。DCT系数矩阵中，若低频系数越集中,那么重构的图像与原始图像越相似；若低频系数越离散，那么重构的图像与原始图像越迥异。数字视频图像中的信息较为抽象，采用熵对图像的信息进行衡量。若图像信息越集中且有规律，那么熵值越低；若图像信息越离散且杂乱，那么值越高。通过值衡量图像信息的公式可表示为G(Xxa)=-2 p.lip:(3)其中，X表示信源;p：表示符号i对应的概率。图像的频域熵主要是表示图像低频聚集情况，那么图像的频域熵公式可表示为mxn一I;1G10g2(4)mxnmxni=1I;Ii=11其中，；表示DTC系数矩阵的i个值。频域嫡越小，表明原始图像的灰度值分布越平滑；频域摘越大，表明原始图像的边缘与细节越多。为了进一步增大图像频域能量的差异，通过低、高频能量比来描述图像的能量，公式可表示为mxn2H=2/h(5)i=hi=1mxn-h其中，h表示DCT系数矩阵的低频系数个数；mxn表示图像大小。为了更好地表示图像能量的连续性差异，对图像频域184能量可疑度进行改进，公式为GD(6)SuSH能量可疑度越大，图像所含的低频成分越少。如果对图像中的目标进行移除操作，会增加图像的低频成分，减小能量的可疑度，那么就可以及时的发现图像被篡改了。2.2空域篡改检测方法在数字视频时域检测过程中已经对篡改的可疑顿进行了定位，因此只需要在空域篡改检测中定位可疑顿的具体位置即可。为了获得图像目标的轮廓信息、弥补二顿差法的不足,取图像相邻三,并将前后两顿与该顿做差，将得到的差分二值图像做与运算，求出公共部分，获得更加精准的图像目标轮廓信息。但由于图像运动区域较为特殊，采用普通的三帧差法得到的结果存在噪声干扰，且运动前景模糊，因此本文对三帧差法进行改进，对得到的差分二值图先进行数学形态学处理，然后再做或运算。改进的三顿差法流程如图2所示。与i-1顿相减得二值图或操作第顿数学形态残留运图像学处理动前景与i+1相减得二值图图2改进的三顿差法流程就数字视频图像序列而言，对t时刻图像顿及前后两顿做三顿差分，公式为(0,I K(x,y,t)-K(x,y,t-1)I TK,I(x,y,t):(1,I K(x,y,t)-K(x,y,t-1)I T(0,I K(x,y,t+1)-K(x,y,t)I TK+1,(x,y,t):(1,1 K(x,y,t+1)-K(x,y,t)I T(7)其中,K(x,y,t)表示t时刻的图像顿;K(x,y,t-1)和K(x,y,t+1)分别表示t-1时刻和t+1时刻的图像顿；T表示二值化处理后的阈值大小。为了解决视频图像的背景重现问题，使处理后的图像结果较为集中，同时扩大图像的目标提取部分，采用或运算K*(x,y,t)=Ktt-i(x,y,t)llKt1,(x,y,t)(8)对图像进行形态学处理后，不仅保留了图像的原本信息，还可以在一定程度上抑制噪声3数字视频顿间篡改检测视频的顿间篡改主要是对图像顿进行删除、插人等操作，为了降低篡改计算的复杂度，提高篡改识别能力，基于顿间篡改方法的特点，提出直方图相交法的间篡改检测算法。视频帧间篡改检测过程如图3所示。数字视频的顿间篡改检测主要是通过横向/纵向对图像视频已篡改否检测获取视是频像素像素带相似原始视频视频线集合图3视频顿间篡改检测过程的截取获得像素线，并由相邻的4个像素线组成像素带；然后通过颜色直方图计算出临近像素带间的关联性。若视频发生帧间篡改，那么像素带间的关联性也会随之改变。假设某段视频图像序列的视频帧长度为Lfra、高度为Hfra、宽度为Wfra,对图像序列的同一水平（纵向)位置的每顿像素进行提取，建立直角坐标系。以图像第j顿的位置s处为始发点，沿水平（纵向）位置采集Wra（H f r a）个像素点，按顺时针方向拼接成水平像素线，生成的横向像素线，公式为=Oj xog(x,s)(9)=Ojxo(s,y)ver其中，Oxo表示直角坐标系。将采集的各顿像素线按顺序拼接，形成横向（纵向）像素带，公式可表示为(10)verer进而将横向（纵向）形成的像素带用集合形式表示为Deu(11)0-33zerzer为了计算视频图像像素带间的相似度，采用颜色直方图。对于任意像素带颜色分量的直方图，公式可表示为Meu(12)m,()Mver其中，r表示像素带灰度值；m，表示像素带灰度值为r时像素的数目；M表示像素的总个数。为了对横向（纵向)像素带的相似度进行衡量，可通过直方图交互法实现，公式为N-1min(Qpia(r),Qrit4(r)Uie(i)F=0N-1Q(r)LeuT=0(13)N-1min(Qpi(r),Qpit4(r)erT=0eN-1QPi(r)ver0其中，N表示图像灰度值可取的数量。进而，横向像素带相似度集合用公式可表示为(P(U)=(Ue(1),Ule(2),Ue(0-10)/(14)(P(Uer)=Uwer(1),Uuer(2),Ue(0-10)18541仿真与结果分析4.1顿内篡改检测结果为了验证融合顿内与帧间技术的数字视频篡改检测方法的有效性，选择长度为2 6 6 顿的视频进行压缩，图像帧大小为32 0*2 40，在原始视频的第148 帧和第18 0 帧中有运动物体经过，除此之外，其余帧为静止帧。对原始视频中的第171顿和第2 0 1顿的运动物体通过图像修改软件进行移除操作，使篡改后的视频中只存在静止背景。篡改后的图像高低频比值与频域熵如图4所示。450430410390370350050100150200250300顿序列(a)篡改后图像的高低频比值12.51211.51110.5109.59050100150200250300顿序列(b)篡改后图像的频域熵图4图像高低频比值与频域炳测试结果从图中可以看出，原始视频中的第17 1顿和第2 0 1顿运动物体移除后，为了对抠出的前景进行掩饰，修图软件会主动通过模糊操作将抠出的部分弥补成完整的背景图片，这样增加了篡改图像的低频成分，因此图像的低高频比值增大，频域熵减小，这也正是图像第17 9顿和第18 9顿出现极值的原因。通过仿真，对图像顿内运动目标移除频域可疑度分布进行了验证，实验结果如图5所示。从图中可以看出，图像的能量可疑度分布与频域熵有一致的变化趋势，这正是因为图像第17 9顿和第18 9顿中运动目标被删除后，被抠出的目标有大有小，总体上是中间区域抠出的较多，边缘区域抠出的较少，对图像进行补全时，中间区域的补全操作较多，模糊圆润操作面积会更大，所以图像第17 9顿和第18 9顿低频分量呈现出凸形特征分布，频域熵呈现出凹形特征分布。0.0310.030.0290.0280.0270.0260.025女0.0245050100150200250300顿序列图5图像可疑度分布4.2顿间篡改检测结果对视频顿间篡改技术进行检测时，选择长度为412 顿、GOP为10、压缩为H.264格式的视频。在视频的第158 顿和第191帧中有物体A经过，在视频的第37 8 帧和第40 0 帧中有物体B经过，其余为静止背景。选择横向像素带，通过仿真求出视频2 18 4像素带的相关度，仿真结果如图6 所示。10.9WV0.80.70.60.58090100110120130140150顿序列图6原始视频像素带相关度从图中可以看出，视频的像素带相关度呈现出周期大小为10 的周期性分布，这正是因为视频GOP大小为10 所引起的。对原始视频的第2 18 4像素带进行改，通过仿真求出相关度，实验结果如图7 所示。10.90.80.70.60.58090100110120130140150顿序列图7改视频像素带相关度从图中可以看出，通过顿间的篡改技术，将原始视频中的第99帧 12 8 顿替换，连接处为第99顿，由于插人了30186上接第18 1页）顿，原始视频中第99顿 12 8 顿恰巧是3个周期，但因图像顿的插人破坏了连接处的像素带相关度，使数据的周期性发生了改变，因此像素带相关度的极小值为第95和第12 4个像素带的序列上。5结束语为了对被篡改的视频进行检测，提出融合顿内与间技术的数字视频篡改检测方法。该算法的核心是对时域上被篡改的可疑顿进行定位，再通过空域上定位出可疑顿的具体位置。利用顿间篡改方法的特点，利用直方图相交法对视频进行检测。为了验证本文方法的有效性，分别选择长度为266和412 顿的视频进行压缩，分别对原始视频中的第171帧、第2 0 1顿的运动物体进行移除操作，对第99顿 12 8进行替换操作，实验结果表明，本文方法可以准确定位出被篡改的视频顿，具有显著的有效性。参考文献：1 Index C V N.Forecast and methodology,2016-2021R.WhitePaper,2017-6.2卢贺楠，黄添强，林晶。基于动态阈值的顿复制粘贴篡改检测J.计算机系统应用,2 0 16,2 5(12)：10 8-116.3Iuliani M,Shullani D,Fontani M,et al.A video forensic frameworkfor the unsupervised analysis of MP4-like file containerJ.IEEE16Hassan M M,Alam M G R,Uddin MZ,et al.Human emotion rec-ognition using deep belief network architecture J.informationfusion,2019,51:10-18.17陈景霞，等.基于深度卷积神经网络的脑电信号情感识别J。计算机工程与应用，2 0 19,55（18）：10 3-110.18Lee M S,Lee Y K,Lim M T,et al.Emotion Recognition UsingConvolutional Neural Network with Selected Statistical Photople-thysmogram Features J.Applied Sciences,2020,10(10):3501.19 朱兆坤，李金宝.多特征信息融合LSTM-RNN检测OSA方法J.计算机研究与发展，2 0 2 0,57（12）：7 1-7 9.20胡章芳，崔婷婷，罗元，等.基于CBLSTM算法的脑电信号特征分类J.计算机工程与应用，2 0 19,55（2 4）：110-116.21Jiang-Jian,Guo,Rong,et al.Multimodal Emotion Recognitionfrom Eye Image,Eye Movement and EEG Using Deep Neural Net-works C.2019 41st Annual International Conference of theIEEE Engineering in Medicine&Biology Society（EM BC),2019:3071-3074.22杜昭慧.基于层次支持向量机的脉搏信号情感识别J.吉林大学学报,2 0 17,35(1)：37-42.Transactions on Information Forensics and Security,2018,14(3):635-645.4Afchar D,Nozick V,Yamagishi J,et al.Mesonet:a compact facialvideo forgery detection network C.2018 IEEE InternationalWorkshop on Information Forensics and Security(WIFS).2018:1-7.5Subramanyam A V,Emmanuel S.Video forgery detection usingHOG features and compression properties J.IEEE 14th Interna-tional Workshop on Multimedia Signal Processing.Banff,Canada.2012:89-94.6李猛，胡永健，刘排贝，等.基于TCS-LBP算子的视频顿复制篡改检测算法J.华南理工大学学报（自然科学版），2 0 18，46(5):60-67,99.7李小琛，黄添强.融合彩色信息与SIFT特征的顿内复制粘贴篡改检测J.计算机系统应用，2 0 18,2 7（7）：11-18.8肖辉，翁彬，黄添强，等。融合多特征的视频顿间篡改检测算法J.网络与信息安全学报，2 0 2 0,6（1）：8 4-93.作者简介董春丽（197 9.0 8-），女（锡伯族），新疆伊犁人，工程师，研究方向：摄录编、数字视频技术。胡贤芬（197 5.11-），女（汉族），四川自贡人，博士，讲师，主要研究方向：凝聚态物理23Lee M,Cho Y,Lee Y,et al.PPG and EMG Based Emotion Recog-nition using Convolutional Neural Network C.16th InternationalConference on Informatics in Control,Automation and Robotics,2019:595-600.24翰思航.基于脑电和生理信号的多模态情感分类方法研究D.合肥工业大学,2 0 19.25Lee S,Lee T,Yang T,et al.Detection of Drivers Anxiety Invokedby Driving Situations Using Multimodal BiosignalsJ.Processes,2020,8(2):155.26Soleymani M P M,Pun T.Multimodal emotion recognition in re-sponse to videos J.IEEE transactions on ffective computing,2011,3(2):211-223.作者简介陈心怡（1996-），女（汉族），广东省云浮市人，硕士研究生，研究方向为情感计算、人工智能。陶小梅（198 0-），女（汉族），广西壮族自治区桂林市人，博士，副教授，研究方向为情感计算、人工智能。