基于烟雾区域和轻量化模型的视频烟雾检测.pdf

Jun.2023JOURNALOFCHENGDUUNIVERSITY OFINFORMATIONTECHNOLOGY2023年6 月息Vol.38No.3程报大学学成都信第38 卷第3期文章编号：2 0 96-16 18(2 0 2 3)0 3-0 2 8 1-10基于烟雾区域和轻量化模型的视频烟雾检测蒲建飞，魏维，吴帝勇，程鹏，袁定胜（成都信息工程大学软件工程学院，四川成都6 10 2 2 5）摘要：烟雾是早期火灾发生的典型特征，针对烟雾的智能检测能有效降低森林火灾造成的破坏。为了对监控视频中烟雾的及早检测，提出一种基于烟雾区域及轻量化模型的烟雾检测算法。首先通过残差顿堆叠获取视频中的运动区域，然后再利用自适应暗通道掩码对运动区域进一步筛选获得疑似烟雾块。在此基础上，又设计了一个轻量化的神经网络模型用于烟雾识别，模型利用卷积局部感知的特性提取烟雾的浅层特征，而在网络深层则将卷积和self-attention相结合，通过比较全局相似度，在浅层特征图的基础上获取烟雾的全局信息。实验结果表明，算法具有较强的鲁棒性，无论是远距离烟雾还是近距离烟雾均有良好的检测效果。关键词：早期烟雾；暗通道；自注意力机制；卷积神经网络中图分类号：TP391.4文献标志码：Adoi:10.16836/ki.jcuit.2023.03.0060引言森林是一种重要的生态资源，为人类生产生活提供重要的原材料。森林火灾是一种极具破坏性的灾难，不仅使生态环境受到严重破坏，而且给人类造成巨大的经济损失，甚至危及生命安全。而发生森林火灾时灭火的难度远远比城市火灾大，因此对森林火灾进行有效的预警就显得尤为重要。传统的火灾探测系统一般采用温度或烟雾传感器，当火灾发生时，生成的烟、温度和光等物理量达到一定数值时，发出报警信号1。但这种探测系统仅适用于建筑物、隧道等的火灾预警中，在高大空间的火灾报警中，上述方法不能很好地适用。近年来随着机器视觉与图像处理技术的不断发展,基于视频图像的火灾检测技术引起了关注。这种新型火灾检测技术可以忽略地形地势的限制，其检测覆盖面大,不存在检测死角和空白,并且拥有高检测率和能够远程实时预警的特点，因此逐渐成为森林火灾预警的主要方案。其中，由于烟雾和火焰是火灾的两种主要表现形式，而烟雾产生于火焰之前，相比对火焰的检测,对烟雾的有效识别能更及时地预警和预防森林火灾的发生,因此对烟雾的研究越来越多。Russo AU等2 首先利用背景减法从输入顿中去除背景，然后采用基于形状的滤波方法获取感兴趣区域。根据感兴趣区域的像素点计算局部二值模式的值并构建直方图形成特征向量，最后利用支持向量机对形成的特征向量进行判别。Tang等3 则通过背景差法提取运动区域，并对每个运动区域进行处理以获得局部信息。利用局部二值化模型提取每个块的纹理特征。然后利用收稿日期：2 0 2 2-0 9-0 1基金项目：四川省科技厅重点科研资助项目（2 0 2 1YFG0299）支持向量机对提取的特征进行分类。Liu等4 使用小型烟雾图像块与视频中运动区域的图像特征匹配进行烟雾识别。首先利用Vibe算法提取视频帧中的运动区域，然后提取运动区域的局部向量化特征和中心对称的局部二值模式特征进行特征融合，将融合特征输人支持向量机进行烟雾识别。Gao等5 在帧处理阶段不提取火灾烟雾特征（如纹理、颜色、频率信息等），仅使用连续帧提取动态区域中的稳定点作为烟雾根候选点。在扩散模型模拟阶段，采用所有烟雾根候选点信息生成模拟烟雾。最后实现基于颜色、动态区域和模拟烟雾的匹配算法辨别烟雾。Wang等6 设计了一种识别圆锥几何特征的算法，用于区分烟雾圆锥区域和动态区域。然后，使用颜色滤波算法对这些圆锥形区域进行滤波处理。最后，通过纹理滤波算法将真实烟雾与候选烟雾区域区分。Zhou等7 采用最大稳定极值区域算法提取烟雾的局部极端区域。通过跟踪极端区域获取疑似烟雾区域，后利用提出的累积区域方法根据烟雾的运动特征来检测烟雾。Wang等8 则利用RGB和HSV颜色模型获取烟雾颜色特征，利用小波变换获取背景模糊特征,计算像素比获取烟雾轮廓特征，利用光流法获取主运动方向的特征。然后，将获取的各烟雾特征融合后输人支持向量机进行烟雾检测。上述方法均依靠人工设计的特征来进行烟雾检测。但人工设计的特征容易受到环境的影响，当环境复杂人工设计的特征在进行烟雾检测时往往出现高误报和高漏报的情况。随着深度学习技术的发展，2 0 15年，卷积神经网络(convolutional neural network,CNN）在 ImageNet 图像分类竞赛上超越了所有传统图像特征提取方法，首次超越受过训练的人类的识别率，证明卷积神经网络在提取图像特征上拥有很强的能力。越来越多的研究大282息报程都成第38 卷信学学者开始将基于卷积神经网络的深度学习技术应用在视频烟雾检测上。Zhang9提出了一种使用迁移学习来检测烟雾图像的双通道卷积神经网络（DC-CNN）：一个通道上使用带有迁移学习的AlexNet网络提取广义特征，一个通道使用纯卷积神经网络提取特定特征。Yuan等10 受到GoogleNet，In c e p t i o n 模块网络结构的启发，设计了更加适合烟雾识别的网络模块，提出DM-CNN网络结构。相比ZF-Net、VG G 16、In c e p t i o n-v 3等网络有着更好的识别效果。Yin等11 提出了一种基于视频的深度神经网络烟雾检测方法，该方法有两个独立的网络分别学习空间特征和运动特征。其中，空间网络从原始帧学习特征，运动网络学习相邻两帧的运动特征。之后,将其输入RNN网络进行特征融合借此识别烟雾。Xu等12 提出了一种基于SSD和多尺度深度卷积神经网络的烟雾检测器，并通过使用合成烟雾图像样本进行网络训练。对比基于ZFNet的SSD,基于VGGNet的SSD,该方法在烟雾检测性能上显著提升。利用卷积神经网络这类的深度学习方法，虽然可以自动提取烟雾特征并拥有较好的烟雾识别率，但该类方法需要巨大的训练数据且计算开销大，无法做到对野外火灾进行实时预警针对上述问题，本文提出一种基于疑似烟雾区域的神经网络早期森林烟雾识别方法。该方法拥有以下优势：（1)将残差应用在运动物体检测的同时，与提出的自适应暗通道掩码相结合用于确定疑似烟雾区域，这样可以减少后续处理的数据量，同时保证未丢失后面待识别的烟雾特征。（2）所提出的烟雾识别模型不厚重，参数量很小，能够做到对捕获到的疑似烟雾区域进行实时识别。（3)在所设计的轻量级模型中将自注意力和卷积相融合，使模型在提取烟雾局部特征的同时关注烟雾的全局信息。总的来说，通过该方法能够同时兼顾林火烟雾检测的准确性和实时性。方法流程如图1所示。输入视频烟雾非烟雾图片视频顿预处理疑似烟零检测图片翻转色彩抖动残差顿堆叠检测暗通道掩膜去除运动区域部分非烟雾区域图片插值缩放处理获取凝似烟雾区域轻量级模型搭建是否存在疑似烟雾N和训练Y模型部利用训练好的模型识别轻量级模型保存疑似烟雾区域图片是否存在疑似烟雾N轻量级模型训练Y标记预警图1早期森林火灾烟雾识别方法流程1疑似烟雾目标区域检测1.1残差帧堆叠检测运动区域常见的运动检测算法有光流法，背景差分法和帧差法等。光流法利用图像序列中像素在时间域上的变化以及相邻顿之间的相关性，找到上一帧跟当前顿之间存在的对应关系，计算相邻帧之间物体的运动信息，但大多数的光流计算方法计算量巨大，结构复杂，且易受光照、物体遮挡或图像噪声的影响，鲁棒性差，不能做到对运动目标进行实时检测。背景差分法是指将图像序列中的当前帧和已经确定好背景图像做减法，像素值差异超过一定阀值的区域为运动区域。其不足之处在于当场景变得复杂、不可预知时，如光照突然变化、运动物体进出场景时，选择性的更新背景成为背景差分法的一大难点。顿差法是利用相邻顿（或相邻三帧)之间求取两两帧之间图像灰度差的绝对值，当绝对值超过一定阈值时，可判断为运动目标。其优点是算法实现简单，程序设计复杂度低，能够适应各种动态环境，有着比较强的鲁棒性。缺点是对慢速运动的物体，特别是当物体在前后两帧中几乎完全重叠时,检测不到物体。由于烟雾形成初期运动缓慢，单纯地使用顿差法将很难检测到缓慢运动的烟雾。本文提出利用残差顿堆叠13 来获取视频中的运动物体。通常的残差帧通过对相邻两进行顿差法获取,但由于早期烟雾扩散缓慢,相邻两顿获取的残差顿不能很好地捕捉到疑似烟雾区域，因此本文提出的算法扩大顿间距离，利用相隔2 0 顿的两顿来获取残差顿。获取残差帧的公式如下：(1,IFrame;-Frame;-20 I TResFrame;=lo,else其中Frame,Framej-20分别代表第i顿图像和第i-20顿的背景参考顿图像,ResFrame代表获取的残差帧图像，在实验中发现T值为2 0 时效果较好。利用顿差法来获取残差顿虽然速度较快，但由于其固有的缺点不能提取出对象的完整区域，只能提取出边界。所以，本文提出利用残差顿堆叠来弥补该缺陷。受vibe算法的启发，首先将连续的多个残差帧进行保存得到残差顿集合M()：M(x)=ResFrame,ResFramei-1,.,ResFramei-后对集合M(x）中的残差帧堆叠得到当前视频的运动前景。其具体的实现方法如下：283蒲建飞，于烟雾区域和轻量化模型的视频烟雾检测第3期(1,2ResFrame;(x,y)2MoveFrame;(x,y)=0lo,else其中MoveFrame（x,y）表示当前视频帧的运动前景，t值为2 0 代表集合M（）中保存的残差个数。利用残差堆叠虽能实时获取视频顿中的运动物体，但当捕捉到运动的烟雾后，由于烟雾扩散缓慢和帧差法固有的缺陷，烟雾后期将很难检测到运动的烟雾，因此提出若有连续5顿检测到烟雾，则冻结前文提出的背景参考 Framei-20。尽管残差帧堆叠能有效去除视频顿噪声和镜头晃动对运动检测的干扰，但是户外环境往往是非常复杂的，如野外环境树叶晃动、飞鸟突人镜头、行人、汽车均会对视频顿的运动烟雾检测形成较严重的干扰。因此，本文在利用残差帧堆叠进行运动烟雾检测的基础上，引人自适应暗通道掩膜来进一步筛选出运动的烟雾。1.2自适应暗通道掩膜通常彩色图像包括3个通道，即RGB三通道，可以理解成一张图片由3层同样大小的RGB（光学三原色：红绿蓝）三色堆叠而成，而图片实质上是由一个个像素组成的，像素点上的每一种颜色由这三原色组合而成。暗通道先验14 指清晰无雾的彩色图片中除天空区域(因为天空区域或者白色区域和雾的特征较为接近)外的任一局部区域像素至少有一个通道值很低,几乎趋近于零。即在一个RCB图像中所有像素点取最低的颜色通道值所构成的新图像称之为暗通道。通过以上描述，一张图像的暗通道的计算公式如下：Jdark(X)=_min(.min,J(Y)YEW(x)CETg.b其中J表示图像三通道中的一个，（）表示以像素x为中心的区域，两次最小值滤波的滤波半径为WindowSize=2Radius+1做近似计算，其中WindowSize为最小值滤波窗口大小。在自然环境中,早期的烟雾通常为白色,表现在暗通道上则是存在烟雾的区域拥有很高的像素值。因此，暗通道像素值的强度能够在一定程度上作为检测烟雾是否存在的方法。获得暗通道后，可通过阈值判断得到暗通道掩膜来划分真实图像中的疑似烟雾区域。具体计算公式为(1,Jdak(X)T,DarkMask=lo,else其中DarkMask即为所求的暗通道掩膜，但一般阈值T，是固定的，得到的掩膜无法适应野外的复杂环境，做到去除烟雾检测的大部分干扰。因此，本文提出自适应掩膜来解决该难题，使掩膜的阈值随环境变化而变化。具体方案是，利用残差顿堆叠获取到的运动前景和暗通道来改变阈值T1。首先将运动前景与暗通道并操作获取在运动区域在暗通道上的映射，再对得到的映射图像求像素平均值，该像素平均值即可视为暗通道掩膜的阈值。其计算公式如下：MoveDark;=MoveFrame;(x,y)n Jdark(X)hZ,ZMoveDark(x,y)T,=x=0y=0Z,ZMoveFrame(x,y)x=0=0其中MoveDark，代表第i帧图像运动区域在其暗通道上的映射，MoveFrame（x,y）代表第i顿图像的运动前景,Jdark(X)代表第i帧图像的暗通道，T，表示第i顿图像暗通道掩膜的阈值，h，w 表示视频帧的高和宽。残差顿堆叠运动前景疑似烟雾疑似烟雾区域掩膜暗通道自适应暗通道掩膜图2疑似烟雾目标区域检测通过残差帧堆叠和自适应暗通道掩码进行疑似烟雾区域检测的效果如图2 所示。由图2 可以看到，残差帧堆叠能有效去除视频帧上的噪声,并且弥补了帧差法获取运动目标易形成的“孔洞”的缺点。自适应暗通道掩码也能在获取的运动前景的基础上进一步去除如树叶晃动、运行车辆等运动物体，从而得到较少且准确的疑似烟雾块。2融合自注意力机制的轻量型深度学习网络设计2.1整体网络设计本文提出的融合自注意力机制的轻量型深度学习网络如图3所示。该网络模型主要包含两大模块：浅层特征网络模块，深层特征网络模块。具体来说，模型由一个卷积核为7 7 的卷积层、一个最大池化层、3个浅层特征网络模块、3个深层特征网络模块、1个平均池化层，2 个全连接层组成。纯卷积的浅层特征网络模块负责利用卷积操作对烟雾图像的局部特征进行提取和组合，形成较长较广的深层特征；深层特征网络模块将卷积和自注意力机制相融合，凭借其较好的抽象能力更好地提取烟雾的深层抽象特征，并增强整个网络模型对特征的提取能力。卷积和自注意力机制相结所以大284息程都成报第38 卷信学学合共同提取物体特征，使模型能够在网络模型不厚重的基础上,对烟雾特征拥有更好的表征能力,并在视频烟雾识别任务中取得较好的识别效果，andnoZISVSHNZISebeu图3浅层和深层网络相结合的轻量型的深度学习网络2.2浅层特征提取模块受MobileNetV215的启发，提出嵌人位置注意力机制16 （coordinate attention）的倒残差模块(inverted resid-ual block,IRB）,利用该模块进行烟雾的浅层特征提取。通常使用的注意力机制往往关注于哪些通道对整个网络的识别性能提升最大，但都忽略了位置信息对物体特征提取的影响。位置注意力机制将位置信息融合在通道注意力中，在不丢失通道信息的同时关注不同位置的像素点的重要信息。其结构如图4所示。clh1clh1clr.1.(w+h)cl/r.1.(w+h)AvgPoolExcitation卷积cl1wcl1WRe-weightMCC1C图4位置注意力模块结构图位置注意力使用AvgPool操作将多维特征图沿高和宽分解为两个一维特征向量，并分别沿两个空间方向通过Excitation操作聚合特征。通过这种方式，位置注意力可以沿一个空间方向捕获远程依赖关系，同时沿另一个空间方向保留精确的位置信息。然后将得到的特征图单独编码成一对方向感知和位置敏感的注意力图，得到的注意力图分别加权到输入特征图中从而增强神经网络对感兴趣对象的描述。倒残差结构如图5（a）所示，由两种卷积操作组成，分别为深度卷积（depthwiseconvolution，D w）和逐点卷积（pointwise convolution,Pw）。深度卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，而常规卷积每个卷积核是同时操作输入特征图的每个通道。逐点卷积的运算与常规卷积运算非常相似，它的卷积核的尺寸为11M,M为上一层输出的通道数，逐点卷积会在深度方向上对上一步的特征图进行加权组合，生成新的特征图。倒残差结构接收到上一层的特征图后，先使用逐点卷积扩充特征图维度，将低维空间映射到高维空间。因为在低维空间下，网络无法提取到整体的足够多的信息。而后使用深度卷积在高维空间下提取特征，卷积核的尺寸为33。最后，再次使用逐点卷积降低特征图维度，与输入倒残差结构的特征图维度一致，从而方便后续的残差操作。相比于传统的残差结构，倒残差结构特征提取时不会损失信息，且计算量也大幅降低。这主要源于倒残差结构使用深度可分离卷积（depthwiseseparableconvolution）替换了标准卷积。假设一个标准卷积的输人特征图维度为D,xD,xN,其内部卷积核尺寸为NFF,M,输出的特征图维度为DcDcN,则标准卷积的计算量如下：Fc=FF,xDcxDcxNxM深度可分离卷积包含逐点卷积和深度卷积两个操作，进行逐点卷积时其计算量为Fpw=FF,xDcxDcxM进行深度卷积时，其计算量为FDw=11xDcDcMxN利用深度可分离卷积进行运算的总计算量为Fpw+Dw=F,F,DcDcM+11DcDcxMN深度可分离卷积和标准卷积的计算量之比为FPw+Dw11FcNFFxF本文采用的嵌人位置注意力机制的倒残差模块的结构如图5(c)所示，位置注意力作用于倒残差模块的最后一个逐点卷积后，进行特征图内部信息的权重再分配。文献16 将位置注意力作用于倒残差模块中深层卷积后，其结构如图5（b)所示。本文在实验阶段设置了3组对比实验用于验证有无位置注意力和位置注意力模块嵌人位置对模型烟雾识别效果的影响。64Pw25664PW25664PW256256DW256256Dw256256DW256CoorAttention256PW64CoorAttention256PW64256PV64(a)倒残差模块(b)文献16 方法改进后的(c)本文方法改进后的倒残差模块倒残差模块图5改进的倒残差模块2.3深层特征提取模块通过浅层特征网络模块可以获得较长较广的深层285蒲建飞，于烟雾区域和轻量化模型的视频烟雾检测第3期特征，但由于卷积层的设计需通过受限的感受野来确保局部性，以及通过权重共享来确保平移等效性,其卷积核固有的局部性使卷积操作无法得到图像中的全局信息。为更好地识别图像中的对象，全局信息又必不可少。自注意力机制能直接获取图像上任意两点的远距离依赖关系,在一定程度上与同特征图大小一致的卷积核结构类似，避免了纯卷积的过深网络结构。而本文使用的多头注意机制17 （multi-head self-attention，MHSA）的基础单元为点积型自注意力机制（dotprod-uct attention），其实现方式如图6 所示，可表达为QKAttention(Q,K,V)=softmaxVSofimax图6自注意力机制实现图其中的Q,K,V是3个向量由特征图经一层全连接层转换得来，用于分析图像各区域间的联系。d为矩阵Q,K的维度。自注意力的计算可分3步：通过Q，K 计算各区域间的相似度,亦可称为注意力的值;使用Softmax函数对注意力值进行归一化；将归一化后的注意力值同V进行点积运算最终得到自注意力值。为防止d过大导致Q,K进行点积运算的结果方差过大，从而让后续的Softmax函数无法进行梯度计算，引入d,进行内积缩放。另外，本文提及的自注意力机制引人相对位置编码 h,w18-19,使模型在聚焦物体特征的同时考虑不同特征之间的空间位置关系。在多头自注意力机制中，输入的特征图被均分成h块，每一个块形成一个子空间。然后,这均分的h块在各自的子空间下分别乘于不同的权重得到新的Q，K,V,各个子空间依靠新的Q,K,V计算各自空间下的自注意力值，将得到的自注意力值进行组合，然后映射成输人向量的维度。最终，获得多头自注意力的值。其计算公式如下：MultiHead(Q,K,V)=Concat(head,head,*.,head,)wohead,=Attention(QW?,KWk,VW)使用多头注意力机制增加了模型获取特征信息的能力，并且在不同子空间下获取不同的特征信息，从而使得到的特征信息也更全面。卷积只在局部小领域聚合上下文，避免了穴余的全局计算，但受限的感受野难以建模全局依赖。而自主注意力通过比较全局相似度，能自然地关联长距离目标，但同时其计算量过大且在浅层编码局部特征十分低效2 0 。因此,本文设计了一种新的特征学习模块，该模块将卷积和自注意力有机地统一，发挥两者的优势，解决了特征提取时局部穴余和全局依赖两大问题。该模块如图7(a)所示,将倒残差结构中的深层卷积替换为多头自注意力。此时，自注意力机制的计算维度过高，大大增加模型参数量。因此，借鉴Conv-NeXt21中倒残差的设计,将替换的多头自主注意力前移形成了图7(b)结构。512PW2048512MHSA5122048MHSA2048512Pw20482048Pw5122048PW512(a)融合MHSA的倒残差结构(b)融合MHSA的变型倒残差结构图7深层网络模块3实验结果与分析3.1实验数据集及评估指标由于森林火灾烟雾识别的研究者较少，环境复杂多变导致样本获取的难度较大，目前还没有针对森林火灾烟雾识别的标准数据集。所以，本文在公共数据集http:/ 的基础上构建了一个新的数据集，其中包含烟雾图片42 0 0 张，非烟雾图片16 0 0 0。由于在分类任务中，各类数据图片数量的相对平衡能显著提升模型表现10 ,因此本文通过水平翻转、随机旋转和色彩抖动等数据增强技术对数据集中的烟雾图片进行处理，得到新的烟雾图片，让烟雾和非烟雾图片数量基本一致。最终获得一个高质量的数据集用于模型训练，数据集中部分烟雾图片大286息程都报成第38 卷信学学如图8 所示。数据集数据分配详情如表1所示，烟雾图片数量总计16 0 16 张，非烟雾图片数量总计16 0 0 0。表1数据集中数据分配DataSetsSmokeNon-smokeTotalTrainingSet128121280025612Test Set160216003202Verification Set160216003202Total160161600032016原图水平翻转随机翻转色彩抖动图：数据集中的烟雾图片为了评价神经网络模型的烟雾识别效果，本文采用准确率（accuracy rate，A R）,检测率（detection rate，DR）和误警率(falsealarmrate，FA R)作为模型评价指标，其计算公式如下：TP+TNAR=TP+FP+FN+TNTPDR:TP+FNFPFAR=FP+TN其中TP(TurePositive)代表实际标签为烟雾，同时被模型识别为烟雾的图片数量。FP（Fa l s e Po s i t i v e）代表实际标签为非烟雾，但被模型识别为烟雾的图片数量。TN（T r u e Ne g a t i v e）代表实际标签为非烟雾，模型识别也为非烟雾的图片数量。FN(FalseNegative)代表实际标签为非烟雾，但被模型识别为烟雾的图片数量。若模型识别效果优秀，则在评价指标上表现为高准确率，高检测率以及低误警率。3.2疑似烟雾块缩放在火灾发生的早期，产生的烟雾是逐渐弥漫扩散的,算法捕捉到的疑似烟雾区域的大小是不定的。而本文设计的神经网络模型的输入形状却是固定的，为了方便网络模型提取烟雾特征并辨别疑似烟雾区域是否存在烟雾，需将疑似烟雾区域的图像数据转换为网络模型输人的大小2 2 42 2 4。本文采用的缩放方法为双线性插值，如图9所示。虽然在检测过程中烟雾的形状一直变化，但烟雾的颜色和纹理特征以及其他特征在同一图像中总是相对一致的。因此，不管所获取到的疑似烟雾块形状如何，统一使用双线性插值将其转换为网络模型输人的大小。(a)疑似烟雾区域(b)缩放后疑似烟雾区域图9疑似烟雾区域缩放3.3网络模型训练本文进行的实验基于Window10系统平台，实验环境为Python3.8，开发环境为Pycharm和VScode，使用的深度学习框架为Pytorch1.7.0（G PU），CU D A 版本为10.2。硬件设备为Intel(R）Xe o n(R）CPU E5-2 6 0 3v3 1.60GHz,32GB RAM 和 2 4GB NVIDIA TITANRTX。在进行神经网络模型训练过程中使用交叉摘作为损失函数Adam（A d a p t i v e M o me n t Es t i ma t i o n）梯度下降算法，批处理图片数量为16，初始学习率设定为0.001,学习率变化策略设置为模型训练每经过5次迭代，学习率调整为上一次的0.7 倍，而模型训练总的迭代次数为10 0。3.4网络模型分析3.4.1位置注意力机制对特征提取影响分析本文在浅层网络特征提取模块中引入位置注意力机制来提升位置信息对物体特征提取的效果。考虑到位置注意力机制作用于倒残差模块内部的不同位置会影响特征提取的效果，从而影响神经网络对烟雾的识别准确度。于是，本文针对位置注意力在倒残差模块中的位置设置了对比实验。首先，对位置注意力在倒残差模块中的位置进行设置，其中未嵌入位置注意力为算法1，嵌人位置注意力于深层卷积后作为算法2，嵌人位置注意力于逐点卷积后为本文算法，其各自的模块结构图见图7。然后，将3种结构的神经网络在287蒲建飞，等：基于烟雾区域和轻量化模型的视频烟雾检测第3期本文提出的数据集上进行烟雾识别实验。实验各项评价指标如表2 所示。表2位置注意力嵌人位置分析单位：%ModelARDRFAR算法198.9698.690.75算法299.1398.750.50本文算法99.5999.630.43从表2 可知，添加位置注意力机制能够提升模型的烟雾识别能力，位置注意力机制不仅关注特征图维度上的联系，而且也考虑了位置信息对物体特征提取的影响。如将本文算法的烟雾识别效果与算法1比较，其AR和DR分别提升了0.6 3%和0.94%，FAR降低了0.32%。除此之外，从表2 还可发现，位置注意力模块在模型中的作用位置也会影响模型的烟雾识别效果，将位置注意力作用于倒残差模块的逐点卷积后比作用于深层卷积后对模型效果的提升更好。如本文算法相比于算法2,其AR和DR分别提升了0.46%和0.88%,FAR降低了0.0 7%。3.4.2Self-attention与卷积融合方式分析对于本文模型所采用的融合MHSA的倒残差结构的融合方式进行实验分析。融合方式包含：（1）单纯使用MHSA替换掉倒残差结构中的深层卷积，得到的模块结构如图7(a)所示。（2)在方式1的基础上将MHSA前移,此时其结构如图7（b）所示。然后,将这两种融合方式在本文数据集上进行实验，其实验结果的各项评价指标如表3所示。表3Self-attention与卷积融合方式分析融合方式AR/%DR/%FAR/%Params/M方式187.3585.2610.5645.11方式299.5999.630.439.14从表3可知，当使用方式1对MHSA与倒残差结构进行融合时，其在测试集上的准确率仅为8 7.35%，检测率为8 5.2 6%。而使用方式2 对MHSA与倒残差结构进行融合时，其准确率和检测率为99.59%，99.63%，相比于方式1分别提升了12.2 4%，14.37%，同时其误检率也大幅降低了10.13%，从10.56%下降到0.43%，而其模型参数量更是从45.11M大幅下降到9.14M。由此可见，在训练数据有限的情况下，大幅提升输入自注意力模块的维度，不仅不能增强模型的特征提取能力，反而使模型参数量剧增。综合而言，本文模型所采用的融合方式2 优于方式1。3.4.3与近年来其他方法对比为验证本文提出的神经网络模型的性能，将模型与近几年典型的神经网络模型进行对比实验。为公平比较，各个模型在训练过程中的相关超参数保持一致，训练过程中都使用本文提出的数据集，并且所有模型都从零开始训练，训练结果如图10 所示。而训练完成后的各模型在测试集上的表现如表4所示。1.0000.9750.9500.9250.900ourVgg0.875SWin-T.mobileNetv3Resnet0.850Bolnel.alexnet0.825010203040506070 8090100Epoch（a）模型验证过程精度图1.000.950.900.850.800.75our0.70SWin-TmobileNetv30.65ResnetBotnet.0.60-Alexnet0102030405060708090100Epoch（b）模型训练过程精度图图10各网络模型训练和验证精度图表4提出的模型法与其他经典模型比较ModelAR/%DR/%FAR/%Params/MAlexnet22 98.9698.690.7561.10Vg(2396.4597.062.4915.66Resnet 2498.6598.371.0625.56MobileNetV3 2598.9398.561.695.40Swin-transformer2692.8791.692.4927.51Botnet 1898.1298.710.6914.81本文模型99.5999.630.439.14从表4的数据结果可知，单纯使用自主注意力机制的神经网络模型在面临训练数据不足时，其模型表现远不如纯卷积模型。如swin-transformer在测试集上其AR和DR仅为92.8 7%，91.6 9%，FAR为2.49%，各项指标均低于本文算法和卷积模型。但将卷积和自注意力相结合后，其模型表现又强于卷积模型，如本文提出的神经网络模型以及Botnet在烟雾识别任务上其准确率,检测率和误警率均优于其他模型。本文模型在测试集上其AR为99.59%，DR为99.6 3%，FAR为0.43%，其烟雾识别效果优于与之比较的其他模型。大288息第3 8 卷程报都成信学学另外，本文所提出的神经网络模型参数量大小为9.14M。除mobilenetV3外，参数量远低于其他模型。但相比于mobileNetV3,本文在AR,DR和FAR上均表现更好。为更直观地分析模型在进行烟雾识别时的关注点，对神经网络由浅到深不同层部分通道的特征图进行可视化，如图11所示。上方为输入模型识别的疑似烟雾块，其中第一行展示的是神经网络最大池化层后输出的5个通道的特征图。由图11可以看出，在浅层,神经网络已经学习到了烟雾的的轮廓特征。第二行是融合位置注意力的反残差模块输出的部分通道特征图，在这一层神经网络不但注重烟雾的轮廓，也在学习烟雾的纹理特征。而第三行则是融合的Self-Atten-tion的变型倒残差模块输出的部分通道特征图，这里的输出已经是神经网络的深层输出，从输出的特征图可以知道神经网络已经定位到烟雾在图片中的位置，并在图片的烟雾区域提取烟雾的深层特征。疑似烟雾块第一行第二行第三行第四行第五行第一行第二行第三行图11神经网络由浅到深不同层部分通道特征图3.5基于视频的烟雾检测结果分析本文算法在多个实际烟火监控视频中进行测试,其视频数据来源于韩国启明大学（https:/cvpr.kmu.ac.kr/）、中国科学技术大学火灾科学国家实验室（http：/ 所示。其中，videolvideo3为烟雾视频，检测距离由远至近。video4v i d e o 5为干扰视频，主要包含自然环境下的云雾，晃动的树叶，运动的汽车和行人。videolvideo2video3video4video5video6图12烟雾测试视频为验证本文所提出的方法的有效性，将模型表现较为出色且为轻量级模型的MobileNetv3和Botnet、文献2 7】的方法、去除疑似烟雾检测步骤的本文方法与本文方法进行对比实验，实验结果如表56 所示。从表5可看出，在videolv i d e o 3等含烟雾视频中，本文方法相比MobileNetv3、Bo t n e t 和文献2 7 的方法均能提前检测到烟雾的出现，且无论是远距离烟雾还是近距离烟雾的检测上，本文方法均表现出色。而从表6可得知,即使在烟雾类似视频video4v i d e o 6 中存在与烟雾颜色相近的云雾，频繁晃动的树枝,运动的白色车辆和行人等烟雾干扰物时，本文方法在进行烟雾检测时并未出现误检。这验证了本文方法拥有较强的鲁棒性。在近距离烟雾检测视频video3中，去除疑似烟雾检测步骤的本文方法虽相较于其他4种方法表现优异，但在远距离烟雾检测视频videol中却无法检测到烟雾。在video2中,其他4种方法的检测速度慢于本文方法，且在烟雾类似视频video4v i d e o 6 中检测检测烟雾时出现了极多的误检行为。这证明了本文提出的疑似烟雾检测算法的有效性，该算法能极大地抑制云雾，晃动的树枝、运动的白色车辆和行人等物体对烟雾识别的干扰，在本文所提出的烟雾检测框架中发挥着巨大作用。表5烟雾视频测试检测结果视频第几顿检测到烟雾视频视频场景本文方法编号总顿数MobileNetv3Botnet文献2 7 本文方法描述（去除疑似烟雾检测）Videol远景烟雾缓慢扩散6042116511619760893Vide02远景烟雾扩散有运动车辆59564924975231119443Vide03近处浓烟雾快速扩散，有风2324131359113289蒲建飞，等：基于烟雾区域和轻量化模型的视频烟雾检测第3 期表6烟雾类似视频检测结果视频误检顿数视频视频场景本文方法编号总顿数MobileNetv3Botnet文献2 7 本文方法描述（去除疑似烟雾检测）Video4雨雪天有雾，远处有灯光闪烁820800021480Video5雨天大雾，有运动车辆，行人7310631073100Video6雾天，微风，有树叶晃动19920004505结束语频繁发生的森林火灾已经成为世界森林地区的一个主要威胁，而发生森林火灾时灭火的难度远远比城市火灾大。因此,对森林火灾进行有效的预警就显得尤为重要。烟雾产生于火焰之前，通过利用林区监控视频对烟雾的有效检测能更加及时地预警和预防森林火灾的发生。为提升检测效率，提出利用残差顿堆叠和自适应暗通道掩码进行先期的疑似烟雾区域获取。在此基础上,设计了一个融合自注意力机制的轻量化网络模型，用以对获取的疑似烟雾块进行快速识别。该模型相比于其他典型模型在烟雾识别时的准确率，检测率和误警率都表现出了更好的性能。实验结果表明，本文所提出的早期森林火灾检测算法相比于其他同类型算法，在检测速度上得到了极大的提升，且适用范围也更广阔，无论是远距离烟雾还是近距离烟雾都能做到准确实时地检测。不过，由于在进行烟雾识别时本文模型没有充分考虑到烟雾的时空特征，导致针对缓慢运动的云雾存在误检，未来的工作计划是构建更为有效的神经网络模型来降低烟雾识别的误检率。参考文献：11严云洋，高尚兵，郭志波，等.基于视频图像的火灾自动检测J.计算机应用研究,2 0 0 8（4）：1075-1078.2RUSSO A U,DEB K,TISTA S C,et al.Smoke De-tection Method Based on LBP and SVM from Sur-veillance Camera C.proceedings of the 2018 In-ternational Conference on Computer,Communica-tion,Chemical,Material and Electronic Engineer-ing(IC4ME2),2018.3TIANTIAN T,LINHAN D,ZHIJIAN Y.Smoke Im-age Recognition Based on Local Binary pattern C.proceedings of the Proceedings of the 20175th International Conference on Mechatronics,Ma-terials,Chemistry and Computer Engineering(ICM-MCCE 2017),2017.4LIU Z,YANG X,LIU Y,et al.Smoke-DetectionFramework for High-Definition Video Using FusedSpatial-and Frequency-Domain FeaturesJ.IEEEAccess,2019,7:89687-89701.5GAO Y,CHENG P.Forest Fire Smoke DetectionBased on Visual Smoke Root and Diffusio