基于深度学习的干扰环境下火焰识别研究_高伟.pdf

文章编号:1009-6094(2023)06-1889-10基于深度学习的干扰环境下火焰识别研究高 伟,孙 意,李艳超,周永浩(大连理工大学化工学院精细化工国家重点实验室,辽宁大连 116024)摘 要:传统的火焰识别方法依赖于提取火焰的物理特征,存在精确度差、应用范围窄等问题。通过对比已有的线性网络、谷歌网络和残差网络的性能,确定残差网络的误差最小,准确度最高,并选取残差网络构建火焰特征识别网络DarkNet53。自行构建数据集,并将干扰对象设置为灯光、太阳和火焰图标,将三者与火焰图像一起构成数据集。基于YOLO v3 算法在上述干扰环境下对火焰进行识别和网路性能测试。结果表明,基于深度学习的火焰识别方法能够准确区分火焰和类似火焰的干扰因素,实现了在多干扰环境下对火焰的准确有效识别。仅使用普通的广角摄像机就可以对开阔空间中的火焰进行准确识别,降低了应用成本,此外,该方法还适用于多种场景,提高了方法的适用范围。关键词:安全工程技术科学;火焰识别;火焰数据集;卷积神经网络;残差网络中图分类号:X932 文献标志码:ADOI:10.13637/j.issn.1009-6094.2021.2417收稿日期:20220104作者简介:高伟,教授,从事安全科学与工程研究,gaoweidlut 。基金项目:国家自然科学基金优秀青年基金项目(51922025)表 1 20162020 我国火灾事故统计数据1Table 1 Statistics on fire accidents in my country from 2016 to 2020年份火灾次数/万次死亡人数受伤人数直接财产损失/亿元201631.21 5821 06537.20201728.11 39088136.00201823.71 40779836.75201923.31 33583736.12202025.21 18377540.090 引 言火的诞生对于人类社会的进步和发展至关重要。然而,在生产和生活过程中,因自然或人为因素导致的火灾和爆炸事故屡见不鲜。表 11展示了20162020 年我国火灾事故统计数据,频繁发生的事故对人民生命和财产安全造成了严重危害。为发展高效的事故预防和减灾措施,快速并准确的火焰识别技术不可或缺。火灾发生时往往伴随着发光、发热和产生烟雾等现象,传统的火焰探测器基于以上物理特性来判断火灾是否发生。这种检测方法对环境和空间依赖性大,实时性和可靠性差2,由于其探测原理存在固有的缺陷,并未得到广泛的应用。随着计算机技术的发展,依据火焰视觉特征识别火焰的图像型火焰检测技术逐渐发展起来。火焰的视觉特征包括静态特征和动态特征。其中,静态特征主要包括火焰的光谱特征和几何特征等。Wirth 等3于2010 年提出一种基于改进的 YCbCr 色彩空间直方图反射投影算法进行火焰识别。严云洋等4通过 RGB 彩色空间建立了火焰的彩色模型,并提出了基于连通区域面积阈值化的单像素宽度目标轮廓特征的抽取方法。为了减少只依据静态特征进行识别的误报率,结合火焰的动态特征,可以进一步提高火焰识别的准确率。Ollero 等5依据频闪、火焰面积扩张等特性提出了利用图像相关性进行火灾检测的方法,但是该方法过于理想化和规律化,导致方法的应变力、适应性较差。近些年,神经网络技术在计算机视觉领域得到了飞速发展,被广泛应用于人脸识别、图像分类、物体识别等方向。线性神经网络、谷歌神经网络和残差网络都是常见的目标识别网络,得到了广泛的应用。宋卫国等6使用线性神经网络与传统方法进行了对比,验证了线性神经网络更高的特征提取性能。周宇晨等7在 2021 年将线性神经网络对甲烷分层旋流火焰进行振荡预报,预报精度达到 90%以上。朱永红等8使用改进的线性神经网络实现了对陶瓷窖内火焰的识别,识别准确率达到 96.5%。陈钦柱9881第 23 卷第 6 期2023 年 6 月 安全 与 环 境 学 报Journal of Safety and Environment Vol.23 No.6Jun.,2023等9引入 Inception 模块,构建了 GoogleNet,加深了网络深度,对视频中的火焰进行了识别,具有很高的计算效率和检测准确度。庞殊杨等10使用残差网络对转炉火焰的 8 种状态进行分类识别,识别的准确率高达 98.73%,实现了高精度识别的应用需求。喻立春等11使用以残差网络为主干的 Mask RCNN 算法,相比于原先的算法,改进算法的识别定位精度更高,检测准确率提升超过 5%,实现了对火焰的识别。线性神经网络出现时间早、研究成熟、改进模型众多,因 此 应 用 广 泛。剩 余 二 者(GoogleNet 和ResNet)出现时间较晚,目前对常见目标诸如人脸、汽车、行人和建筑物等目标的识别较多,而对与安全工程相关的火焰、火灾等目标的识别较少。因此本文将通过对比选择上述性能最优的网络来搭建火焰特征提取网络,并且使用自行构建的数据集完成对火焰的检测与识别任务。1 神经网络介绍1.1 线性神经网络的结构人工神经网络(Artificial Neural Networks,ANN)是基于生物学中神经网络的基本原理,模拟人脑神经系统对复杂信息处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化等优点,受到各学科领域的关注。图 2 LeNet 结构Fig.2 Structure of LeNet图 1 人工神经网络结构Fig.1 Structure of artificial neural networkxi+1=WTxi(1)人工神经网络以处理向量和数组为主,其结构简图如图 1 所示,主要由 3 部分构成,分别为输入层、隐藏层和输出层。网络中的每 1 层都是 1 个一维向量,通过式(1)所示的线性运算关系进行层与层之间的连接。其中,xi和 xi+1表示网络第 i 和第i+1 层向量,W 表示权值矩阵,xij表示第 i 层的第 j个节点。1.2 卷积神经网络的结构卷积神经网络(Convolutional Neural Networks,CNN)是在人工神经网络的基础上发展起来的一种新型的网络结构。20 世纪 90 年代,Lecun 等12提出了 LeNet 模型,其结构如图 213所示。该网络在ANN 线性运算的基础上引入了卷积运算模块和反向传播算法(Back Propagation),确立了卷积神经网络的现代结构,使得 CNN 能够对图像这种特殊的数据结构进行处理。LeNet5 中首次使用了卷积操作,主要用于提取图像中的局部特征信息。为了突出卷积后图像主要的特征信息,对图像进行下采样(或池化,DownPooling)处理。全连接(Full Connection)将所有经过卷积操作得到的多个表征局部特征的向量重新拼接成一个含有所有特征信息的向量。最后通过多次线性运算输出结果进行后续的损失函数的计算和参数优化过程。LeNet 确立了现代 CNN 最基本的结构:卷积+下采样(池化)+全连接。在 LeNet 网 络 之 后,诞 生 了 极 具 突 破 性 的AlexNet 网络。AlexNet 引入了激活函数,激活函数将非线性因素引入到神经网络中,使得神经网络可以逼近任意一种非线性函数14,使网络的性能得到了极大的提升。自此,卷积神经网络结构已趋于完整。2 常见神经网络性能对比2.1 MNIST 数据集MNIST 数据集是由美国国家标准与技术研究所0981 Vol.23 No.6 安全 与 环 境 学 报 第 23 卷第 6 期(National Institute of Standards and Technology 或NIST)创建的,是深度学习中最常用和最简单的数据集15。MNIST 数据集是由数万张 28 28 像素的手写数字(0 9)图像组成。该数据集包含训练集和测试集 2 部分,分别包含 60 000 张训练图像和10 000 张测试图像。2.2 网络中的运算模块线性网络(LinearNet)、谷歌网络(GoogleNet)和残差网络(ResNet)是 3 种常用的网络结构,由于其快速、高效的运算和处理能力得到了科研人员的青睐,被广泛应用于人工智能领域。本文使用 MNIST数据集训练这 3 种已有的网络进行网络性能的研究。图 3 LinearNet 结构Fig.3 Structure of LinearNet2.2.1 LinearNet 结构LinearNet 包含全连接、线性运算、激活和反向传播过程。它首先通过全连接将 MNIST 数据集中的28 28 的图像重整成长度为 784 的一维向量,随后通过如图 3(a)所示的线性运算和激活运算不断地对向量进行处理,最终将长度为 10 的向量作为网络输出对图像上的数字进行分类处理,该网络结构如图 3(b)所示。该网络的结构比较简单,处理对象为简单的一维向量,对图像中目标的特征提起能力相对较弱。2.2.2 GoogleNet 结构GoogleNet 在 2014 年 ImageNet 图像分类中获得了冠军,性能优越。GoogleNet 模型的创新之处在于引入了 Inception 模块,这是一种网中网(Network inNetwork)结构,即网络中的节点也是一个网络。Inception 模块是一种具有局部优良拓扑结构的网络,如图 4(a)所示。该模块对输入图像执行 4 次不同的卷积或池化操作,最后将获得的多个特征拼接在一起,作为一个节点的输出。在常规的卷积神经网络中添加 Inception 模块,就构成了本研究使用的如图 4(b)所示的 GoogleNet。Inception 模块的优势在于增加了网络深度,同时减少了不必要的参数量。Inception 模块在每一个节点处同时采用1 1、3 3和 5 5 的 3 种卷积核而非只有 5 5 的卷积核来处理图像,使网络在结构上变得更“宽”而不是更“深”,减少了不必要参数量,降低了运算成本。1 1 卷积降低运算成本的原理如图 5 所示。假设当前图像具有192 个通道,尺寸为28 28,为保持图像大小不变,在卷积时对图像进行步长为 2 的填充处理,再通过 5 5 卷积运算将原图像通道降为32。只有 5 5 卷积的情况,如图 5(a)所示,其参数量超为 1.2 亿个。当引入 1 1 卷积后,如图 5(b)所示,同样对含有 192 个通道的图像进行步长为 2的填充处理,首先通过一个 1 1 的卷积操作降低其通道数,再用 5 5 的卷积操作将其通道数扩大至32,其运算量只有 0.12 亿。前后参数量相差 10 倍。因此,对图像进行 1 1 的卷积运算降低其通道数可以显著降低运算量。3 3 卷积减少参数量的原理与之类似。2.2.3 ResNet 结构残差网络(ResNet)是一种新型网络结构,用于加深网络,提高网络的性能,它是为了解决网络深度加深导致网络性能下降的问题而诞生的。ResNet 中的残差模块建立了层与层之间的跨层连接,是网络的核心结构。试验表明,随着网络层级的加深,模型精度确实得到了提高,但是当网络层级超过一定数目时,模型精度大幅下降,反而低于浅层网络的识别精度。网络层数加深降低了网络性能是因为在优化过1981 2023 年 6 月 高 伟,等:基于深度学习的干扰环境下火焰识别研究 Jun.,2023程中出现了梯度消失的现象,使得优化过程停滞或图 4 GoogleNet 结构Fig.4 Structure of GoogleNet图 5 2 种卷积运算对比Fig.5 Comparison of two convolution operations无法收敛,从而使得网络性能退化。而残差模块能够很好地解决上述问题。模块结构如图 6(a)所示,残差模块包含 2 种映射,一种是恒等映射(图 6(a)中折线部分);另一种是残差映射(图 6(a)中除折线以外的部分)16。一个残差块的形式如式(2)所示。H(x)=F(x,W)+x(2)图 6 ResNet 结构Fig.6 Structure of ResNet式中x、H(x)分别表示输入和输出。F(x,W)称为残差项,表示对输入 x进行了 2 次卷积和 1 次激活操作后的输出值。在引入残差块之前,希望得到H(x)=x,即恒等映射,网络需要学习恒等映射的参数来实现权值的更新。但是在残差网络中,只需令F(x,W)=H(x)-x=0(3)2981 Vol.23 No.6 安全 与 环 境 学 报 第 23 卷第 6 期这样就把训练目标从训练恒等变换的参数转变为训练式(3)的参数。训练目标转换使得训练过程更简单,因为每一层网络的参数初始化都趋于 0,故可使网络收敛更快。如图 6(b)所示为含有残差块的 ResNet 结构。ResNet 在下采样与下一次卷积之间添加一个残差块,加深网络深度,提高了网络性能,大大提高了网络运算效率。2.3 网络的性能对比经过前面的讨论,得知 3 种神经网络的性能参数如表 2 所示。2 种卷积神经网络(GoogleNet 与ResNet)的最大、最小损失函数均小于线性网络(LinearNet)。在 GoogleNet 和 ResNet 对 比 中,ResNet 的最大损失函数和最小损失函数均最小,即ResNet 损失函数的最大值小于 GoogleNet 损失函数的最 大 值;且 ResNet 损 失 函 数 的 最 小 值 小 于GoogleNet 损失函数的最小值,这表明 ResNet 的收敛性更好。此外,ResNet 的最大测试精度与平均测试精度均大于 GoogleNet,这表明 ResNet 提取目标特征的能力最强。如图 7 所示,在整个的训练过程中,整体上 3 种网络的精度由大到小为 ResNet、GoogleNet、LinearNet。综上所述,使用 ResNet 组成目标的特征识别网络是合理的。表 2 3 种神经网络性能参数对比Table 2 Comparison of three neural network performance parameters网络名称最大损失函数最小损失函数平均测试精度/%最大测试精度/%LinearNet2.2520.02296.6998.05GoogleNet0.6620.01498.6198.94ResNet0.4530.01098.8099.06图 7 3 种网络的精度与训练周期的关系图Fig.7 Relationship between the accuracy of the threenetworks and the training period3 火焰识别试验及分析3.1 DarkNet 网络YOLO v3 的主干特征提取网络是 DarkNet53,其主要作用是提取训练图像的特征17,其结构如图 8所示。该网络结合了残差网络和 DarkNet19,采用1 1 和 3 3 的卷积层和残差模块相连接的思想,由卷积层、批量归一化(Batch Normalization)层和LeakyReLU 层共同组成。DarkNet53 网络由 6 个卷积层和 5 个残差块组成,而且所包含的 5 个残差块运算重复次数不同,分别为 1、2、8、8 和 4。输入的图像张量为 3 416 416,首先经过一次 3 3 卷积运算改变通道数,输出图像尺寸变为32 416 416,再通过3 3 卷积运算扩大通道数、提取主要特征,尺寸变为 64 208 208;随后进入第一个残差块进行运算,该残差块包含 2 次卷积运算和 1 次残差运算,首先对图像进行1 1 卷积运算,缩小通道数以减少参数量,图像变为 32 208 208,再用 3 3 的卷积核扩大通道数,变为64 208 208,上述所有的运算只重复 1 次,其图 8 DarkNet53 网络结构Fig.8 DarkNet53 structure3981 2023 年 6 月 高 伟,等:基于深度学习的干扰环境下火焰识别研究 Jun.,2023他的残差块进行相似的运算,最终图像尺寸变为 13 13 1024。随后,YOLO v3 依据 DarkNet53 提取的 3个特征张量进行后续的特征提取和目标的识别。特征识别网络能够通过提取火焰的视觉特征来对火焰进行识别。火焰的视觉特征主要包括火焰图像压缩后得到的像素的分布以及像素值的大小。特征神经网络对一张图片进行处理过后,图片像素会被压缩然后生成一个较小的张量,该张量中包含了网络提取的火焰特征,通过对比该特征与标签值的差距大小来判断图像中是否包含火焰。3.2 数据集的建立数据集的质量很大程度上会影响目标检测模型的精度。目前没有公认的体量大而且权威的火焰数据集,本文中采用的数据集火焰图像均来自百度、谷歌等网站上的火焰图像以及从火灾视频上截取的帧,含有干扰因素的图像也来自于网络。本研究使用的数据集主要可分为3 大类,如图9所示。1)普通火焰:包括蜡烛、电器火焰等中小型火焰,其主要特点是火焰形状较为规则和稳定,火焰烟雾较少。图 9 部分火焰数据集Fig.9 Part of the flame data set2)火灾火焰:主要包括森林火灾、草原火灾、汽车火灾、房屋火灾等大型火焰,其主要特点为火焰形态不规则,颜色不一而且伴有浓烟。3)含干扰因素的图像:灯光、太阳和试验室中的火焰图标等是试验中常见的干扰源。部分灯光发出的黄光在视觉上与火焰光相类似,因此可能引起火焰识别系统的误报;此外,太阳光也会发出与火焰类似的黄色光或红色光,同样也会干扰系统对火焰的识别;火焰标志由于其在形态上与火焰相似,也是一种常见的干扰因素。以上 3 种干扰因素会干扰火焰识别系统,将干扰因素错误识别为火焰,引起如图 10 所示的误报。建立干扰数据集是为了使网络能够对火焰和与其具有相似特征的目标进行准确区分。本算法将火焰和干扰因素(灯光、太阳和火焰标志)同时进行标注,标签分别为 fire(火焰)、sun(太阳)、fire_sign(火焰图标)和 light(灯光),对火焰的标注如如图 11 所示。图像的数量分别为 80 张、40张、40 张和40 张,数据集容量为200 张图像,其中训练集(Train Set)占比 90%,验证集(Validation Set)占比 10%。训练集用于训练神经网络获得训练参数,验证集用于检验网络的质量。图 10 干扰因素对识别的影响Fig.10 Influence of interference factors on recognition4981 Vol.23 No.6 安全 与 环 境 学 报 第 23 卷第 6 期图 11 对火焰的标注示意图Fig.11 Schematic diagram of the labeling of the flame3.3 火焰识别算法流程本文采用 YOLO v3 算法进行火焰的识别工作。由于 YOLO v1 和 YOLO v2 对小目标的检测效果较差,YOLO v3 在二者的基础上引入了 FPN 特征金字塔、残差网络等思想,提高了目标识别算法的速度和准确度。首先,火焰图像进入 DarkNet53 网络进行特征提取,从而获得 3 个不同尺寸的特征,包含的就是从图像中提取的火焰特征,其大小分别为13 13、26 26和 52 52。随后网络通过一系列的卷积运算实现对这 3 个特征的预测,即在每一个网格中建立多个验证框,网络便会对验证框中是否含有物体以及物体的种类进行判断。在一个周期训练过程中会进行损失函数的计算,并且利用反向传播算法对网络进行参数的优化,以尽可能地对目标进行准确识别。最后根据预测的过程得到的预测框的位置和尺寸信息,直接将预测框绘制在原有的图像上,实现对火焰的可视化识别与定位。3.4 火焰识别效果与分析本算法使用数据集进行 100 个周期的训练,单次训练的过程的 Batch(单次计算要处理的图片数量)为 4 张,初始学习率设为 1 10-3。训练过程中,卷积层随机初始化卷积核,用该卷积核对图像进行处理,经过激活、下采样、全连接和反向传播等操作后,生成对应的网络参数文件,即权值文件。每一个权值文件包含了整个网络的参数信息和本周期训练结束时的损失函数值,挑选损失函数最小的权值文件进行后续的图像或视频火焰识别以及精度校验工作。完成训练后便得到了损失函数随训练周期变化的曲线,如图 12 的损失函数曲线。第 88 个周期训练得到的损失函数为 6.044 0,是所有训练周期得到的损失函数中的最小值。因此选择该权值文件来考察网络的性能。网络的预测性能可以用精确度 P、召回率 R、平图 12 损失函数曲线Fig.12 Loss function curve均精确度 m 和均值精确度 M 来衡量。P 表示真正属于该类且被判定为该类的图像占被判定为该类的所有图像的比例;R 表示真正属于该类且被判定为该类的图像占该类所有图像的比例;m 是衡量神经网络对某个类的识别性能优劣的指标,等于 PR 关系曲线与坐标轴围成的面积,m 越大表示网络对某一个类的识别性能越好;M 指的是所有类 m 的均值,是衡量网络识别能力的综合指标,公式中 mi表示第 i 个类的 m值。4 个参数的表达式如式(4)所示。P=TPTP+FPR=TPTP+FNm=P0PdRM=1nmi|(4)式中 TP表示被划分为正类,而且划分正确的图像数;FP表示被划分为正类,但是划分错误的图像数;TN表示被划分为负类且划分正确的图像数;FN表示被划分为负类,但划分错误的图像数;n 表示训练集包含类的总数。5981 2023 年 6 月 高 伟,等:基于深度学习的干扰环境下火焰识别研究 Jun.,2023使用上述所选的权值文件以及数据集中部分图片进行网络性能测试,所得的结果如表 3 所示。从表 3 中看出,网络对 4 个类的识别精确度均高于78%,对火焰图像的识别精确度达到了 97.58%。此外,网络针对每一个类的 m 均高于 88%,而且火焰的 m 达到了 97.07%。网络的 M 是 94.09%,这表明网络的识别分类能力、识别的精确度均很高,达到了应用要求,可以在干扰环境下对多种要求的目图 13 干扰环境下火焰图像识别效果Fig.13 Flame image recognition effect in interference environment标进行识别。表 3 网络性能检测Table 3 Network performance detection%类的名称PRmMfire(火焰)97.5892.5397.07sun(太阳)78.3878.3888.47fire_sign(火焰图标)98.82 100.00 100.00light(灯光)95.4587.5090.8294.09 最后,进行对火焰及干扰因素进行识别与检测,识别效果如图 13 所示。该算法能够在图片中准确地将火焰和其他干扰因素进行分别标注,识别效果理想,能够准确地对 4 个对象(火焰、太阳、火焰图标和灯光)进行分别识别。4 结 论在多干扰环境下准确识别火焰对于火灾预防和减灾工作至关重要。本文开展了基于神经网络在多干扰环境中进行火焰识别的研究。使用 MNIST 数据集训练 LinearNet、GoogleNet 和 ResNet 3 种神经网络模型并对比三者的性能。它们的最高精度分别为98.05%、98.94%和 99.06%,平 均 精 度 分 别 为96.69%、98.61%和 98.80%,最小损失函数分别为0.022、0.014 和 0.010。ResNet 具有最高的识别精度和最小的损失函数值,性能最优,因此选取残差模块组建 DarkNet53 特征提取网络。自行构建数据6981 Vol.23 No.6 安全 与 环 境 学 报 第 23 卷第 6 期集,除了火焰图像外,还包含灯光、太阳和火焰图标等干扰图像。训练结束后挑选第 88 个周期的得到的权值文件对网络性能进行测试,网络 4 个类的识别准确度达到 94.09%。最后使用 YOLO v3 算法对干扰对象和火焰进行可视化标注和识别,实现了对火焰和其他干扰因素的分类识别。参考文献(References):1 戚斑.近 10 年亡人火灾统计数据分析及防范对策EB/OL.2020426http:/www.china- B.Statistical data analysis of dead fire in the past 10years and preventive countermeasuresEB/OL.2020426.http:/www.china- 蔡春兵,吴翠平,徐鲲鹏.基于深度学习的视频火焰识别方法J.信息技术与网络安全,2020,25(12):4451.CAI C B,WU C P,XU K P.Video flame recognitionmethodbasedondeeplearning J.InformationTechnology and Network Security,2020,25(12):4451.3 WIRTH M,ZAREMBA R.Flame region detection basedon histogram back projection C/Proceedings of the2010 Seventh Canadian Conference on Computer andRobot Vision(CRV).Ontario:Institute of Electrical andElectronics Engineers,2010.4 严云洋,唐岩,郭志波.融合色彩和轮廓特征的火焰检测J.微电子学与计算机,2011,28(10):137141.YAN Y Y,TANG Y,GUO Z B.Fusion of flame colorand its contour for fire detectionJ.Microelectronics&Computer,2011,28(10):137141.5 OLLERO A,ARRUE B C,MARINEZ J R.Techniquesfor reducing false alarms in infrared forest-fire automaticdetection systems J.Control Engineering Practice,1999,25(4):9699.6 宋卫国,范维澄,吴龙标.基于人工神经网络的火灾图像探测方法J.火灾科学,1999,8(3):4956.SONG W G,FAN W C,WU L B.BP networks basedimage fire detection method J.Fire Safety Science,1999,8(3):4956.7周宇晨,张弛,韩啸,等.基于全连接神经网络的分层旋流火焰燃烧振荡预报J.推进技术,2021,42(9):20382044.ZHOU YC,ZHANGC,HANX.Predictionofcombustion oscillation based on time-averaged images ofstratified swirl flame using fully-connected neural networkJ.Journal of Propulsion Technology,2021,42(9):20382044.8 朱永红,夏力,王俊祥.基于改进 BP 神经网络陶瓷梭式窑火焰图像识别方法J.中国陶瓷工业,2020,27(1):1620.ZHU Y H,XIA L,WANG J X.Flame image recognitionmethod for ceramic shuttle kiln based on improved BPneural networkJ.China Ceramic Industry,2020,27(1):1620.9陈钦柱,姚冬,黄松.基于卷积神经网络和优化GoogleNet 架构的监控视频火灾探测J.仪器仪表与检测技术,2021,40(9):124129.CHEN Q Z,YAO D,HUANG S.Fire detection ofsurveillance video based on convolutional neural networkand optimized Googlenet architectureJ.Techniques ofAutomation and Applications,2021,40(9):124129.10 庞殊杨,王姝洋,贾鸿盛.基于残差神经网络实现转炉火焰状态识别J.冶金自动化,2021,42(1):3443.PANG S Y,WANG S Y,JIA H S.Recognition ofconverter flame state based on ResNet neural networkJ.Metallurgical Industry Automation,2021,40(9):124129.11 喻丽春,刘金清.基于改进 Mask RCNN 的火焰图像识别算法J.计算机工程与应用,2020,56(21):194198.YU L C,LIU J Q.Fire image recognition algorithmbased on improved Mask RCNN J.ComputerEngineeringandApplications,2020,56(21):194198.12 LECUN Y,BOTTOU L.Gradient-based learning appliedto document recognitionJ.Proceedings of the Instituteof Electrical and Electronics Engineers,1998,86(11):22782324.13 徐超.基于深度卷积网络的窑内工况燃煤火焰图像识别算法研究D.长沙:湖南大学,2019.XU C.Research on image recognition algorithm of coal-fired flame in kiln based on deep convolution networkD.Changsha:Hunan University,2019.14 GUO Y,SUN L,ZHANG Z,et al.Algorithm researchon improving activation function of convolutional neuralnetworksC/Proceedings of the 2019 31st ChineseControl and Decision Conference(CCDC).Piscataway:Institute of Electrical and Electronics Engineers,2019.15 SRIVASTAVA N,HINTON G,KRIZHEVSKY A,et al.Dropout:a simple way to prevent neural networks fromoverfittingJ.Journal of Machine Learning Research,2014,15(1):19291958.16 田强,贾小宁.基于深度残差网络的车标识别J.吉林大学学报(理学版),2021,59(2):319324.TIAN Q,JIA X N.Vehicle logo recognition based ondeep residual network J.Journal of Jilin University(Science Edition),2021,59(2):319324.17刘博,王胜正,赵建森,等.基于 Darknet 网络和YOLOv3 算法的船舶跟踪识别J.计算机应用,2019,39(6):16631668.LIU B,WANG S Z,ZHAO J S,et al.Ship tracking7981 2023 年 6 月 高 伟,等:基于深度学习的干扰环境下火焰识别研究 Jun.,2023and recognition based on Darknet network and YOLOv3algorithmJ.Journal of Computer Applications,2019,39(6):16631668.The studyofflamerecognitionininterferenceenvironmentbasedondeep learning methodGAO Wei,SUN Yi,LI Yanchao,ZHOU Yonghao(State Key Laboratory of Fine Chemicals,School of ChemicalEngineering,Dalian University of Technology,Dalian 116024,Liaoning,China)Abstract:In recent years,fire detection technology based ondeep learning has received extensive attention and has beenwidely used in actual working conditions.This paper studies theneural networkalgorithmtorecognizeflamesinamulti-interference environment.This paper used the MNIST data set totesttherecognitionaccuracyofthreeneuralnetworks,LinearNet,GoogleNet,and ResNet.The highest accuracies ofthe three networks are 98.05%,98.94%,and 99.06%,theaverage accuracies were 96.69%,98.61%,and 98.80%,andthe minimum loss function values are 0.022,0.014,and0.010,respectively.ResNet has the highest precision,thehighest average precision,and the smallest loss function value.Therefore,ResNet network has the highest performance,whichdemonstrates the rationality of using ResNet to construct a featurerecognition network.The flame feature extraction network used inthis paper is DarkNet53,which introduces 5 residual operationmodules,and performs multiple residual operations,so improvesthe extraction ability of flame features.Subsequently,introducelight,sun,and flame signs as interference factors for research.A total of 200 images of the above three interference and flamesare collected to form the interference flame dataset.This data setcan enable the network to disting