改进YOLOv5s的明渠漂浮垃圾实时检测方法.pdf
《改进YOLOv5s的明渠漂浮垃圾实时检测方法.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv5s的明渠漂浮垃圾实时检测方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、收稿日期:2022-11-14摇 摇 摇 摇 摇 摇 修回日期:2023-03-16基金项目:国家自然科学基金项目(61502359)作者简介:石露露(1997-),女,硕士研究生,CCF 会员(K9475G),通讯作者,研究方向为计算机视觉、物联网技术;廖光忠(1969-),男,硕士,副教授,CCF 会员(E4235M),研究方向为物联网技术、信息安全。改进 YOLOv5s 的明渠漂浮垃圾实时检测方法石露露1,廖光忠2(1.武汉科技大学 计算机科学与技术学院,湖北 武汉 430065;2.武汉科技大学 智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065)摘摇 要:针对航拍图
2、像上明渠漂浮垃圾尺寸小,且易受水面倒影、强光等因素干扰从而造成漂浮垃圾漏检和误检的问题,提出了一种基于改进 YOLOv5s 的明渠漂浮垃圾实时检测方法。首先,通过数据增强的方式对数据集进行扩充,避免数据量过少产生过拟合现象;然后,结合加权双向特征融合网络(BiFPN),对 YOLOv5s 结构的特征融合过程进行修改,以提高检测精度和速度;并且在 Neck 和 Head 部分之间添加 3 个改进的三维 CBAM 注意力机制模块,加强网络信息的提取和定位能力,能够有效地降低检测的漏检率和误检率;最后,增大网络输入的分辨率,使图像具有更加丰富的细节信息和更加精确的位置信息,有利于小目标特征信息的提取
3、。实验结果显示改进的 YOLOv5s 算法检测的平均精度达到了 89.9%,与原 YOLOv5s 算法相比提高了 9.5%,而且与其他目标检测算法对比,能够提高明渠漂浮垃圾检测的精度,确保检测的实时性。关键词:YOLOv5s;实时检测;加权双向特征融合;注意力机制;小目标中图分类号:TP391摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)09-0083-08doi:10.3969/j.issn.1673-629X.2023.09.013Real-time Detection Method of Floating Garbage in
4、Open ChannelsBased on Improved YOLOv5sSHI Lu-lu1,LIAO Guang-zhong2(1.School of Computer Science and Technology,Wuhan University of Science and Technology,Wuhan 430065,China;2.Hubei Provincial Key Laboratory of Intelligent Information Processing and Real-time Industrial System,Wuhan University of Sci
5、ence and Technology,Wuhan 430065,China)Abstract:Aiming at the problem that floating garbage in open channels is small in size and easily disturbed by factors such as reflectionon the water surface and strong light,resulting in missed detection and false detection of floating garbage,a real-time dete
6、ction method offloating garbage in open channels based on improved YOLOv5s is proposed.Firstly,the data set is expanded by means of dataenhancement to avoid overfitting caused by too little data.Then,combined with the weighted bidirectional feature pyramid network(BiFPN),the feature fusion process o
7、f the YOLOv5s structure is modified to improve the detection accuracy and speed.Next,threeimproved 3D CBAM attention mechanism modules are added between the Neck and Head parts to enhance the extraction and positioningcapabilities of network information,which can effectively reduce the missed detect
8、ion rate and false detection rate of detection.Finally,the network input resolution is increased,so that the image had richer detailed information and more accurate position information,whichis conducive to the extraction of small target feature information.The experimental results show that the ave
9、rage detection accuracy of theimproved YOLOv5s algorithm reaches 89.9%,which is 9.5%higher than that of the original YOLOv5s algorithm,and compared withother target detection algorithms,it can improve the detection accuracy and ensure the real-time detection.Key words:YOLOv5s;real-time detection;wei
10、ghted bidirectional feature fusion;attention mechanism;small objects0摇 引摇 言南水北调工程是目前解决国内北方地区水资源严重短缺问题的特大型基础设施项目。确保调水水质是其成败的关键,但是这项工程的沿途都是明渠,水面难免会有漂浮的垃圾,传统处理明渠漂浮垃圾的方法主要是依靠人力,这种方式不仅耗时耗力,而且无法做到第 33 卷摇 第 9 期2023 年 9 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇
11、摇Vol.33摇 No.9Sep.摇 2023实时监测。随着无人机航拍和无人船航拍技术的兴起,人工巡检逐渐被取代,如何检测航拍图像上明渠漂浮垃圾成为了亟待解决的问题。近年来,随着深度学习的快速发展,基于深度学习的目标检测算法成为了检测航拍图像上明渠漂浮垃圾的主流方法。基于深度学习的目标检测算法主要分为双阶段目标检测和单阶段目标检测。双阶段目标检测算法虽然检测的准确率高,但是速度较慢,无法实现实时检测。单阶段目标检测算法是直接对输入的图像进行卷积特征提取,不需要使用候选框,可以极大地提高检测速度。因此,越来越多的学者开始将单阶段目标检测算法应用于河道漂浮物检测领域。Li 等1基于改进的 YOLO
12、v32算法实现水面漂浮垃圾检测,将三尺度检测转换成两尺度检测以提高检测速度,并通过调整先前的锚框提高检测精度。唐小敏等3基于ResNet-101 特征提取网络的 SSD 网络模型对河道漂浮物进行目标检测,有效地提高了网络对不同尺度漂浮物的识别精度。李德鑫等4对 YOLOv5s 算法进行改进实现河道漂浮垃圾分类检测,降低各类别目标检测精度之间的差异。以上单阶段目标检测算法虽然在精度上有了一定的提升,但是小目标检测精度仍不高。针对小目标检测问题,国内外学者也提出了许多算法。Benjumea 等5提出了 YOLO-z,即通过 BiFPN6(Bi鄄directional Feature Pyramid
13、 Network,加权双向特征融合网络)代替 YOLOv5 中的 PANet7(Path AggregationNetwork,路径聚合网络),扩大 Neck 层等一系列方法促进中浅层的特征融合,从而提升小目标的检测性能。Zhu 等8提出了 TPH-YOLOv5,在 YOLOv5 的基础上增加一个预测头用于检测不同尺度的目标,还通过集成 CBAM9(Convolutional Block Attention Module)注意力机制来寻找对象密集场景下的注意力区域,有效地提升了小目标的检测性能。目前现有的大部分小目标检测算法应用领域比较局限,一般只在大型公共数据集上进行验证,而现实场景错综复杂
14、,现有算法仍然存在检测精度低、难以准确检测到小目标、速度不满足日常需要、漏检和误检等问题。在明渠漂浮垃圾检测的场景中,航拍图像中的漂浮垃圾大部分尺寸都很小,占用的图像区域都比较小,导致这些漂浮垃圾缺乏外观信息,很难与背景区分开来,从而增加了准确检测明渠漂浮垃圾的难度。而且水面的强光反射可能会导致图像过度曝光,使水面漂浮垃圾不可见,增加了明渠漂浮垃圾检测的漏检率。此外,水面的倒影会对漂浮垃圾检测造成干扰,容易产生误检。为了解决以上问题,该文采用的方法如下:(1)通过随机剪裁、水平翻转、加入高斯噪声、改变对比度等图像处理操作进行数据增强来扩充数据集;(2)借鉴 BiFPN 的结构对 YOLOv5s
15、 原有的 Neck部分进行改进,修改特征融合的过程,提高小目标检测检测精度和检测速度;(3)进行模型优化,在 Neck 和 Head 部分之间添加 3 个改进的 CBAM 注意力机制,增强信息的特征提取和定位;同时增大网络的输入分辨率,使图像信息更加丰富和精确。1摇 YOLOv5s 基本模型2020 年 6 月,Ultralytics 团队 Glenn 等人提出了YOLOv5 模型,虽然在性能方面与 YOLOv410不分伯仲,但是推理速度有非常大的提升,可以满足实时检测的 要 求。YOLOv5包 括YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x 四种网络结构11。该文主要是
16、基于 YOLOv5s 进行改进的。为了可以在提高检测精度的同时,也能保证检测速率,以实现实时检测,YOLOv5s 模型主要由 Input、Backbone、Neck、Head 四部分组成。Input 部分主要包括自适应计算锚框、Mosaic 数据增强和自适应缩放图片三个部分。Backbone 部分包括 CSPNet12(Cross Stage Partial Network,跨阶段局部网络)模块和 SPPF 模块,这部分的作用是为了处理输入图像,将图像转换成特征。YOLOv5s 6.0 为了避免Focus 切片下采样会丢失部分图片原始信息,将 Focus换成了普通的卷积块。此外,YOLOv5s
17、 6.0 还用 SPPF替代了原先的 SPP(Spatial Pyramid Pooling,空间金字塔池化),SPP 的 3 个多尺度最大池化层是并联连接的,而 SPPF 在此基础上将3 个多尺度最大池化层串联起来,保留 SPP 优势的同时,也可以减少图片信息的丢失。CSPNet 可以缓解梯度消失的问题,避免梯度的重复计算,从而减少计算量,提升网络的计算能力以及减少内存的损耗。Neck 部分包括 FPN13(FeaturePyramid Networks,特征金字塔)和 PANet,这部分主要是为了充分地提取特征。Head 部分主要是对图像的特征进行预测,然后生成边界框、预测目标的种类。同时
18、采用了三种损失函数分别计算分类损失、定位损失和 置 信 度 损 失,并 通 过 NMS(Non-MaximumSuppression,非极大值抑制)提高网络预测的准确度。2摇 改进的 YOLOv5s 模型针对航拍明渠漂浮垃圾图像存在的问题,主要从数据增强、多尺度特征融合、引入注意力机制、增加网络的输入尺度这四个方面对 YOLOv5s 模型进行改进和优化,改进的 YOLOv5s 的网络结构如图 1 所示。48摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷图 1
19、摇 改进的 YOLOv5s 的网络结构2.1摇 数据增强由于目前没有用于河道漂浮检测的大型公共数据集,该文使用了来自 FloW14的图像子数据集 FloW-Img 子集和在线收集的2 000 张数据。FloW 数据集是全球第一个无人船视角的水面漂浮垃圾检测数据集。该数据集是使用无人船在真实场景下进行拍摄收集的,但是 FloW-Img 数据集中的漂浮垃圾主要包括不同外观的塑料瓶、饮料瓶、草和落叶,数据种类较少。于是在 FloW-Img 数据集中选取1 000 张优质图片,剩余 1 000 张则是在线收集合适的水面漂浮垃圾图像,确保数据集具有多样性。最后数据集包括落叶、塑料袋、瓶子、牛奶盒、塑料垃
20、圾、草、树枝、球 8 个类别,如图 2 所示。图 2摇 水面漂浮垃圾类别58摇 第 9 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 石露露等:改进 YOLOv5s 的明渠漂浮垃圾实时检测方法为了避免数据集太小而出现过拟合问题,将通过局部剪裁、随机翻转、加入高斯噪声、改变对比度等方式进行图像处理操作,让每张原始图像生成 5 张新图像,总共得到 10 000 张,但是经过数据增强之后,有的图片质量变化较为严重,需要将质量较差的图像进行人工筛选和剔除,最终数据集为 8 400 张。在图像处理时随机使用 1 到 3 种方式进行变换,可以增加数据集中图片的数量,提高图片信息的多样性,使模型在训练时可以
21、学习到更加全面的水面漂浮垃圾特征。之后,通过数据标注工具 Labelimg 对所有图片进行标注,并将数据集所有图像按照 7 颐 2 颐 1 的比例划分成三个数据集,即训练数据集、验证数据集和测试数据集,图片数量分别为 5 880 张、1 680 张、840 张。最后,将 VOC 格式的数据标注文件转换为 YOLO 格式。2.2摇 多尺度特征融合在卷积神经网络的多层结构中,浅层网络更关注局部细节信息,如图像边缘、轮廓、纹理等,有利于对目标进行定位;深层网络则侧重于提取抽象信息,有利于对目标进行分类,但是细节信息比较缺乏。因此,将浅层网络特征与深层网络特征进行融合可以提高目标检测的性能。通常,构造
22、特征金字塔 FPN 是一种直接有效的融合方式,即建立一条自顶向下的通路进行特征融合,然后用融合后具有高语义信息的特征层进行预测,但是这种结构受单向信息流的限制。为了解决这个问题,PANet 结构应运而生,PANet 结构是在 FPN 结构的基础上再添加一条自底向上的通路,这条通路主要用于将底层的位置信息也传到预测特征层中,使预测特征层既有丰富的语义信息也有精确的位置信息,不仅可以提高目标检测的精度,而且有利于小目标检测,如图 3(a)所示。P5P4P3P5P4P3(a)PANet 结构 摇 摇 摇 摇 摇 摇摇 摇(b)Bi-PANet 结构图 3摇 PANet 结构和 Bi-PANet 结构
23、虽然 PANet 可以提高目标检测的精度,但是需要更多的参数和更大的计算量。于是,借鉴 BiFPN 加权双向特征融合的思想将原先 PANet 的特征融合过程进行修改,如图 3(b)所示,称为 Bi-PANet。首先在PANet 的基础上去掉 P5、P3 中没有进行特征融合的不必要连接,使融合更多特征的同时消耗较少的成本,减少计算量;然后将图 3(b)虚线方框里的双向路径作为一个特征网络层,重复叠加相同的特征网络层,以实现更高层次的特征融合;最后,给每个输入特征增加一个额外的权重,让网络了解它们的重要性。其中,采用的加权特征融合方法是快速归一化融合,每个归一化权重的值都是在 0 到 1 之间,可
24、以提高计算速度。快速归一化融合的公式如下所示:O=移i棕i着+移j棕j誗Ii(1)其中,棕i是可学习的权重,用激活函数 ReLu 来确保每个 棕i逸0,该权重的值可由网络训练得到,Ii是指输入的特征,O 是指输出特征,着=0.000 1 是避免数值不稳定的一个小值。Bi-PANet 将主干网络的 P3、P4、P5 作为特征的输入。以节点 P4 为例,其形成 2 个融合特征的过程如下所示:Ptd4=Conv(棕1.Pin4+棕2.Resize(Pin5)棕1+棕2+着)(2)Pout4=Conv(棕1.Ptd4+棕2.Resize(Pout3)棕1+棕2+着)(3)其中,Ptd4是自顶向下路径
25、P4 的中间特征,Pout4是自底向上路径 P4 的输出特征,Resize 是上采样或下采样操作,Conv 是进行卷积操作。将 YOLOv5s 结构上的特征融合方式结合 BiFPN进行修改不仅可以加强特征融合,提高小目标检测的精度,解决航拍图像中的明渠漂浮垃圾大部分尺寸都很小的问题,还可以提高检测速度,确保明渠漂浮垃圾检测的实时性。2.3摇 引入注意力机制为了关注图像中待检测的漂浮垃圾,减少潜在信息的丢失,避免水面倒影、强光反射等对漂浮垃圾检测的干扰,加强漂浮垃圾特征的提取,该文借鉴 CBAM的通道注意力机制和空间注意力机制的结构,通过保留跨三维的信息减少信息的丢失,同时使用两个卷积层促进空间
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv5s 明渠 漂浮 垃圾 实时 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。