基于烟雾区域和轻量化模型的视频烟雾检测.pdf
《基于烟雾区域和轻量化模型的视频烟雾检测.pdf》由会员分享,可在线阅读,更多相关《基于烟雾区域和轻量化模型的视频烟雾检测.pdf(10页珍藏版)》请在咨信网上搜索。
1、Jun.2023JOURNALOFCHENGDUUNIVERSITY OFINFORMATIONTECHNOLOGY2023年6 月息Vol.38No.3程报大学学成都信第38 卷第3期文章编号:2 0 96-16 18(2 0 2 3)0 3-0 2 8 1-10基于烟雾区域和轻量化模型的视频烟雾检测蒲建飞,魏维,吴帝勇,程鹏,袁定胜(成都信息工程大学软件工程学院,四川成都6 10 2 2 5)摘要:烟雾是早期火灾发生的典型特征,针对烟雾的智能检测能有效降低森林火灾造成的破坏。为了对监控视频中烟雾的及早检测,提出一种基于烟雾区域及轻量化模型的烟雾检测算法。首先通过残差顿堆叠获取视频中的运动区
2、域,然后再利用自适应暗通道掩码对运动区域进一步筛选获得疑似烟雾块。在此基础上,又设计了一个轻量化的神经网络模型用于烟雾识别,模型利用卷积局部感知的特性提取烟雾的浅层特征,而在网络深层则将卷积和self-attention相结合,通过比较全局相似度,在浅层特征图的基础上获取烟雾的全局信息。实验结果表明,算法具有较强的鲁棒性,无论是远距离烟雾还是近距离烟雾均有良好的检测效果。关键词:早期烟雾;暗通道;自注意力机制;卷积神经网络中图分类号:TP391.4文献标志码:Adoi:10.16836/ki.jcuit.2023.03.0060引言森林是一种重要的生态资源,为人类生产生活提供重要的原材料。森林
3、火灾是一种极具破坏性的灾难,不仅使生态环境受到严重破坏,而且给人类造成巨大的经济损失,甚至危及生命安全。而发生森林火灾时灭火的难度远远比城市火灾大,因此对森林火灾进行有效的预警就显得尤为重要。传统的火灾探测系统一般采用温度或烟雾传感器,当火灾发生时,生成的烟、温度和光等物理量达到一定数值时,发出报警信号1。但这种探测系统仅适用于建筑物、隧道等的火灾预警中,在高大空间的火灾报警中,上述方法不能很好地适用。近年来随着机器视觉与图像处理技术的不断发展,基于视频图像的火灾检测技术引起了关注。这种新型火灾检测技术可以忽略地形地势的限制,其检测覆盖面大,不存在检测死角和空白,并且拥有高检测率和能够远程实时
4、预警的特点,因此逐渐成为森林火灾预警的主要方案。其中,由于烟雾和火焰是火灾的两种主要表现形式,而烟雾产生于火焰之前,相比对火焰的检测,对烟雾的有效识别能更及时地预警和预防森林火灾的发生,因此对烟雾的研究越来越多。Russo AU等2 首先利用背景减法从输入顿中去除背景,然后采用基于形状的滤波方法获取感兴趣区域。根据感兴趣区域的像素点计算局部二值模式的值并构建直方图形成特征向量,最后利用支持向量机对形成的特征向量进行判别。Tang等3 则通过背景差法提取运动区域,并对每个运动区域进行处理以获得局部信息。利用局部二值化模型提取每个块的纹理特征。然后利用收稿日期:2 0 2 2-0 9-0 1基金项
5、目:四川省科技厅重点科研资助项目(2 0 2 1YFG0299)支持向量机对提取的特征进行分类。Liu等4 使用小型烟雾图像块与视频中运动区域的图像特征匹配进行烟雾识别。首先利用Vibe算法提取视频帧中的运动区域,然后提取运动区域的局部向量化特征和中心对称的局部二值模式特征进行特征融合,将融合特征输人支持向量机进行烟雾识别。Gao等5 在帧处理阶段不提取火灾烟雾特征(如纹理、颜色、频率信息等),仅使用连续帧提取动态区域中的稳定点作为烟雾根候选点。在扩散模型模拟阶段,采用所有烟雾根候选点信息生成模拟烟雾。最后实现基于颜色、动态区域和模拟烟雾的匹配算法辨别烟雾。Wang等6 设计了一种识别圆锥几何
6、特征的算法,用于区分烟雾圆锥区域和动态区域。然后,使用颜色滤波算法对这些圆锥形区域进行滤波处理。最后,通过纹理滤波算法将真实烟雾与候选烟雾区域区分。Zhou等7 采用最大稳定极值区域算法提取烟雾的局部极端区域。通过跟踪极端区域获取疑似烟雾区域,后利用提出的累积区域方法根据烟雾的运动特征来检测烟雾。Wang等8 则利用RGB和HSV颜色模型获取烟雾颜色特征,利用小波变换获取背景模糊特征,计算像素比获取烟雾轮廓特征,利用光流法获取主运动方向的特征。然后,将获取的各烟雾特征融合后输人支持向量机进行烟雾检测。上述方法均依靠人工设计的特征来进行烟雾检测。但人工设计的特征容易受到环境的影响,当环境复杂人工
7、设计的特征在进行烟雾检测时往往出现高误报和高漏报的情况。随着深度学习技术的发展,2 0 15年,卷积神经网络(convolutional neural network,CNN)在 ImageNet 图像分类竞赛上超越了所有传统图像特征提取方法,首次超越受过训练的人类的识别率,证明卷积神经网络在提取图像特征上拥有很强的能力。越来越多的研究大282息报程都成第38 卷信学学者开始将基于卷积神经网络的深度学习技术应用在视频烟雾检测上。Zhang9提出了一种使用迁移学习来检测烟雾图像的双通道卷积神经网络(DC-CNN):一个通道上使用带有迁移学习的AlexNet网络提取广义特征,一个通道使用纯卷积神经
8、网络提取特定特征。Yuan等10 受到GoogleNet,In c e p t i o n 模块网络结构的启发,设计了更加适合烟雾识别的网络模块,提出DM-CNN网络结构。相比ZF-Net、VG G 16、In c e p t i o n-v 3等网络有着更好的识别效果。Yin等11 提出了一种基于视频的深度神经网络烟雾检测方法,该方法有两个独立的网络分别学习空间特征和运动特征。其中,空间网络从原始帧学习特征,运动网络学习相邻两帧的运动特征。之后,将其输入RNN网络进行特征融合借此识别烟雾。Xu等12 提出了一种基于SSD和多尺度深度卷积神经网络的烟雾检测器,并通过使用合成烟雾图像样本进行网络
9、训练。对比基于ZFNet的SSD,基于VGGNet的SSD,该方法在烟雾检测性能上显著提升。利用卷积神经网络这类的深度学习方法,虽然可以自动提取烟雾特征并拥有较好的烟雾识别率,但该类方法需要巨大的训练数据且计算开销大,无法做到对野外火灾进行实时预警针对上述问题,本文提出一种基于疑似烟雾区域的神经网络早期森林烟雾识别方法。该方法拥有以下优势:(1)将残差应用在运动物体检测的同时,与提出的自适应暗通道掩码相结合用于确定疑似烟雾区域,这样可以减少后续处理的数据量,同时保证未丢失后面待识别的烟雾特征。(2)所提出的烟雾识别模型不厚重,参数量很小,能够做到对捕获到的疑似烟雾区域进行实时识别。(3)在所设
10、计的轻量级模型中将自注意力和卷积相融合,使模型在提取烟雾局部特征的同时关注烟雾的全局信息。总的来说,通过该方法能够同时兼顾林火烟雾检测的准确性和实时性。方法流程如图1所示。输入视频烟雾非烟雾图片视频顿预处理疑似烟零检测图片翻转色彩抖动残差顿堆叠检测暗通道掩膜去除运动区域部分非烟雾区域图片插值缩放处理获取凝似烟雾区域轻量级模型搭建是否存在疑似烟雾N和训练Y模型部利用训练好的模型识别轻量级模型保存疑似烟雾区域图片是否存在疑似烟雾N轻量级模型训练Y标记预警图1早期森林火灾烟雾识别方法流程1疑似烟雾目标区域检测1.1残差帧堆叠检测运动区域常见的运动检测算法有光流法,背景差分法和帧差法等。光流法利用图像
11、序列中像素在时间域上的变化以及相邻顿之间的相关性,找到上一帧跟当前顿之间存在的对应关系,计算相邻帧之间物体的运动信息,但大多数的光流计算方法计算量巨大,结构复杂,且易受光照、物体遮挡或图像噪声的影响,鲁棒性差,不能做到对运动目标进行实时检测。背景差分法是指将图像序列中的当前帧和已经确定好背景图像做减法,像素值差异超过一定阀值的区域为运动区域。其不足之处在于当场景变得复杂、不可预知时,如光照突然变化、运动物体进出场景时,选择性的更新背景成为背景差分法的一大难点。顿差法是利用相邻顿(或相邻三帧)之间求取两两帧之间图像灰度差的绝对值,当绝对值超过一定阈值时,可判断为运动目标。其优点是算法实现简单,程
12、序设计复杂度低,能够适应各种动态环境,有着比较强的鲁棒性。缺点是对慢速运动的物体,特别是当物体在前后两帧中几乎完全重叠时,检测不到物体。由于烟雾形成初期运动缓慢,单纯地使用顿差法将很难检测到缓慢运动的烟雾。本文提出利用残差顿堆叠13 来获取视频中的运动物体。通常的残差帧通过对相邻两进行顿差法获取,但由于早期烟雾扩散缓慢,相邻两顿获取的残差顿不能很好地捕捉到疑似烟雾区域,因此本文提出的算法扩大顿间距离,利用相隔2 0 顿的两顿来获取残差顿。获取残差帧的公式如下:(1,IFrame;-Frame;-20 I TResFrame;=lo,else其中Frame,Framej-20分别代表第i顿图像和
13、第i-20顿的背景参考顿图像,ResFrame代表获取的残差帧图像,在实验中发现T值为2 0 时效果较好。利用顿差法来获取残差顿虽然速度较快,但由于其固有的缺点不能提取出对象的完整区域,只能提取出边界。所以,本文提出利用残差顿堆叠来弥补该缺陷。受vibe算法的启发,首先将连续的多个残差帧进行保存得到残差顿集合M():M(x)=ResFrame,ResFramei-1,.,ResFramei-后对集合M(x)中的残差帧堆叠得到当前视频的运动前景。其具体的实现方法如下:283蒲建飞,于烟雾区域和轻量化模型的视频烟雾检测第3期(1,2ResFrame;(x,y)2MoveFrame;(x,y)=0l
14、o,else其中MoveFrame(x,y)表示当前视频帧的运动前景,t值为2 0 代表集合M()中保存的残差个数。利用残差堆叠虽能实时获取视频顿中的运动物体,但当捕捉到运动的烟雾后,由于烟雾扩散缓慢和帧差法固有的缺陷,烟雾后期将很难检测到运动的烟雾,因此提出若有连续5顿检测到烟雾,则冻结前文提出的背景参考 Framei-20。尽管残差帧堆叠能有效去除视频顿噪声和镜头晃动对运动检测的干扰,但是户外环境往往是非常复杂的,如野外环境树叶晃动、飞鸟突人镜头、行人、汽车均会对视频顿的运动烟雾检测形成较严重的干扰。因此,本文在利用残差帧堆叠进行运动烟雾检测的基础上,引人自适应暗通道掩膜来进一步筛选出运动
15、的烟雾。1.2自适应暗通道掩膜通常彩色图像包括3个通道,即RGB三通道,可以理解成一张图片由3层同样大小的RGB(光学三原色:红绿蓝)三色堆叠而成,而图片实质上是由一个个像素组成的,像素点上的每一种颜色由这三原色组合而成。暗通道先验14 指清晰无雾的彩色图片中除天空区域(因为天空区域或者白色区域和雾的特征较为接近)外的任一局部区域像素至少有一个通道值很低,几乎趋近于零。即在一个RCB图像中所有像素点取最低的颜色通道值所构成的新图像称之为暗通道。通过以上描述,一张图像的暗通道的计算公式如下:Jdark(X)=_min(.min,J(Y)YEW(x)CETg.b其中J表示图像三通道中的一个,()表
16、示以像素x为中心的区域,两次最小值滤波的滤波半径为WindowSize=2Radius+1做近似计算,其中WindowSize为最小值滤波窗口大小。在自然环境中,早期的烟雾通常为白色,表现在暗通道上则是存在烟雾的区域拥有很高的像素值。因此,暗通道像素值的强度能够在一定程度上作为检测烟雾是否存在的方法。获得暗通道后,可通过阈值判断得到暗通道掩膜来划分真实图像中的疑似烟雾区域。具体计算公式为(1,Jdak(X)T,DarkMask=lo,else其中DarkMask即为所求的暗通道掩膜,但一般阈值T,是固定的,得到的掩膜无法适应野外的复杂环境,做到去除烟雾检测的大部分干扰。因此,本文提出自适应掩膜
17、来解决该难题,使掩膜的阈值随环境变化而变化。具体方案是,利用残差顿堆叠获取到的运动前景和暗通道来改变阈值T1。首先将运动前景与暗通道并操作获取在运动区域在暗通道上的映射,再对得到的映射图像求像素平均值,该像素平均值即可视为暗通道掩膜的阈值。其计算公式如下:MoveDark;=MoveFrame;(x,y)n Jdark(X)hZ,ZMoveDark(x,y)T,=x=0y=0Z,ZMoveFrame(x,y)x=0=0其中MoveDark,代表第i帧图像运动区域在其暗通道上的映射,MoveFrame(x,y)代表第i顿图像的运动前景,Jdark(X)代表第i帧图像的暗通道,T,表示第i顿图像暗
18、通道掩膜的阈值,h,w 表示视频帧的高和宽。残差顿堆叠运动前景疑似烟雾疑似烟雾区域掩膜暗通道自适应暗通道掩膜图2疑似烟雾目标区域检测通过残差帧堆叠和自适应暗通道掩码进行疑似烟雾区域检测的效果如图2 所示。由图2 可以看到,残差帧堆叠能有效去除视频帧上的噪声,并且弥补了帧差法获取运动目标易形成的“孔洞”的缺点。自适应暗通道掩码也能在获取的运动前景的基础上进一步去除如树叶晃动、运行车辆等运动物体,从而得到较少且准确的疑似烟雾块。2融合自注意力机制的轻量型深度学习网络设计2.1整体网络设计本文提出的融合自注意力机制的轻量型深度学习网络如图3所示。该网络模型主要包含两大模块:浅层特征网络模块,深层特征
19、网络模块。具体来说,模型由一个卷积核为7 7 的卷积层、一个最大池化层、3个浅层特征网络模块、3个深层特征网络模块、1个平均池化层,2 个全连接层组成。纯卷积的浅层特征网络模块负责利用卷积操作对烟雾图像的局部特征进行提取和组合,形成较长较广的深层特征;深层特征网络模块将卷积和自注意力机制相融合,凭借其较好的抽象能力更好地提取烟雾的深层抽象特征,并增强整个网络模型对特征的提取能力。卷积和自注意力机制相结所以大284息程都成报第38 卷信学学合共同提取物体特征,使模型能够在网络模型不厚重的基础上,对烟雾特征拥有更好的表征能力,并在视频烟雾识别任务中取得较好的识别效果,andnoZISVSHNZIS
20、ebeu图3浅层和深层网络相结合的轻量型的深度学习网络2.2浅层特征提取模块受MobileNetV215的启发,提出嵌人位置注意力机制16 (coordinate attention)的倒残差模块(inverted resid-ual block,IRB),利用该模块进行烟雾的浅层特征提取。通常使用的注意力机制往往关注于哪些通道对整个网络的识别性能提升最大,但都忽略了位置信息对物体特征提取的影响。位置注意力机制将位置信息融合在通道注意力中,在不丢失通道信息的同时关注不同位置的像素点的重要信息。其结构如图4所示。clh1clh1clr.1.(w+h)cl/r.1.(w+h)AvgPoolExci
21、tation卷积cl1wcl1WRe-weightMCC1C图4位置注意力模块结构图位置注意力使用AvgPool操作将多维特征图沿高和宽分解为两个一维特征向量,并分别沿两个空间方向通过Excitation操作聚合特征。通过这种方式,位置注意力可以沿一个空间方向捕获远程依赖关系,同时沿另一个空间方向保留精确的位置信息。然后将得到的特征图单独编码成一对方向感知和位置敏感的注意力图,得到的注意力图分别加权到输入特征图中从而增强神经网络对感兴趣对象的描述。倒残差结构如图5(a)所示,由两种卷积操作组成,分别为深度卷积(depthwiseconvolution,D w)和逐点卷积(pointwise c
22、onvolution,Pw)。深度卷积的一个卷积核负责一个通道,一个通道只被一个卷积核卷积,而常规卷积每个卷积核是同时操作输入特征图的每个通道。逐点卷积的运算与常规卷积运算非常相似,它的卷积核的尺寸为11M,M为上一层输出的通道数,逐点卷积会在深度方向上对上一步的特征图进行加权组合,生成新的特征图。倒残差结构接收到上一层的特征图后,先使用逐点卷积扩充特征图维度,将低维空间映射到高维空间。因为在低维空间下,网络无法提取到整体的足够多的信息。而后使用深度卷积在高维空间下提取特征,卷积核的尺寸为33。最后,再次使用逐点卷积降低特征图维度,与输入倒残差结构的特征图维度一致,从而方便后续的残差操作。相比
23、于传统的残差结构,倒残差结构特征提取时不会损失信息,且计算量也大幅降低。这主要源于倒残差结构使用深度可分离卷积(depthwiseseparableconvolution)替换了标准卷积。假设一个标准卷积的输人特征图维度为D,xD,xN,其内部卷积核尺寸为NFF,M,输出的特征图维度为DcDcN,则标准卷积的计算量如下:Fc=FF,xDcxDcxNxM深度可分离卷积包含逐点卷积和深度卷积两个操作,进行逐点卷积时其计算量为Fpw=FF,xDcxDcxM进行深度卷积时,其计算量为FDw=11xDcDcMxN利用深度可分离卷积进行运算的总计算量为Fpw+Dw=F,F,DcDcM+11DcDcxMN深
24、度可分离卷积和标准卷积的计算量之比为FPw+Dw11FcNFFxF本文采用的嵌人位置注意力机制的倒残差模块的结构如图5(c)所示,位置注意力作用于倒残差模块的最后一个逐点卷积后,进行特征图内部信息的权重再分配。文献16 将位置注意力作用于倒残差模块中深层卷积后,其结构如图5(b)所示。本文在实验阶段设置了3组对比实验用于验证有无位置注意力和位置注意力模块嵌人位置对模型烟雾识别效果的影响。64Pw25664PW25664PW256256DW256256Dw256256DW256CoorAttention256PW64CoorAttention256PW64256PV64(a)倒残差模块(b)文献
25、16 方法改进后的(c)本文方法改进后的倒残差模块倒残差模块图5改进的倒残差模块2.3深层特征提取模块通过浅层特征网络模块可以获得较长较广的深层285蒲建飞,于烟雾区域和轻量化模型的视频烟雾检测第3期特征,但由于卷积层的设计需通过受限的感受野来确保局部性,以及通过权重共享来确保平移等效性,其卷积核固有的局部性使卷积操作无法得到图像中的全局信息。为更好地识别图像中的对象,全局信息又必不可少。自注意力机制能直接获取图像上任意两点的远距离依赖关系,在一定程度上与同特征图大小一致的卷积核结构类似,避免了纯卷积的过深网络结构。而本文使用的多头注意机制17 (multi-head self-attenti
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 烟雾 区域 量化 模型 视频 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。