基于改进YOLO V5的无人机航拍图像小目标检测方法.pdf
《基于改进YOLO V5的无人机航拍图像小目标检测方法.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLO V5的无人机航拍图像小目标检测方法.pdf(6页珍藏版)》请在咨信网上搜索。
1、第6卷 第1期2 0 2 3年1月飞控与探测F l i g h tC o n t r o l&D e t e c t i o nV o l.6N o.1J a n u a r y2 0 2 3基于改进YO L OV 5的无人机航拍图像小目标检测方法*程向红1,2,曹 毅1,2,胡彦钟1,2,张文卓1,2,钱荣辉1,2(1.东南大学 仪器科学与工程学院南京2 1 0 0 9 6;2.微惯性仪表与先进导航技术教育部重点实验室南京2 1 0 0 9 6)摘 要:针对无人机航拍目标检测技术中目标聚集、目标较小及实时性差等问题,对YO L O V 5的主干架构进行改进,简化N e c k网络,提出了一种
2、既能提高检测速度又能准确识别的无人机航拍图像检测技术方案。经过仿真实验测试,改进后的YO L O V 5网络在保持识别精度的同时,检测速率提升了3 1%,满足无人机在航拍作业时对于准确性与实时性的要求。关键词:深度学习;无人机航拍;目标检测 中图分类号:T N 9 1 1.7 3;T P 3 9 1.9文献标志码:A文章编号:2 0 9 6-5 9 7 4(2 0 2 3)0 1-0 0 8 0-0 6T a r g e tD e t e c t i o nM e t h o do fU A VA e r i a l I m a g eB a s e do nI m p r o v e dY
3、O L OV 5CHE NGX i a n g h o n g1,2,C AOY i1,2,HUY a n z h o n g1,2,Z HANG W e n z h u o1,2,Q I ANR o n g h u i1,2(1.S c h o o l o f I n s t r u m e n tS c i e n c ea n dE n g i n e e r i n g,S o u t h e a s tU n i v e r s i t y,N a n j i n g2 1 0 0 9 6;2.K e yL a b o r a t o r yo fM i c r o-I n e r
4、t i a l I n s t r u m e n t a n dA d v a n c e dN a v i g a t i o nT e c h n o l o g y,M i n i s t r yo fE d u c a t i o n,N a n j i n g2 1 0 0 9 6)A b s t r a c t:A i m i n ga t t h ep r o b l e m ss u c ha s t a r g e t a g g r e g a t i o n,s m a l l t a r g e t a n dp o o r r e a l-t i m ep e r
5、f o r m a n c eo fUAVa e r i a l t a r g e td e t e c t i o nt e c h n o l o g y,t h i sp a p e r i m p r o v e s t h eb a c k b o n ea r c h i t e c t u r eo fYO L OV 5,s i m p l i f i e s t h eN e c kn e t w o r k,a n dp r o p o s e saUAVa e r i a l i m a g ed e t e c t i o nt e c h n o l o g ys c
6、 h e m e t h a t c a n i m p r o v ed e t e c t i o ns p e e da n da c c u-r a t e l y i d e n t i f ya t t h es a m e t i m e.T h r o u g ht h es i m u l a t i o nt e s t,t h e i m p r o v e dYO L O V 5n e t w o r kh a s i m p r o v e dt h ed e t e c t i o nr a t eb y3 1%w h i l em a i n t a i n i
7、n g t h e r e c o g n i t i o na c c u r a c y,w h i c hm e e t s t h e r e q u i r e m e n t so f a c c u r a c ya n dr e-a l-t i m ep e r f o r m a n c eo fUAV s i na e r i a l p h o t o g r a p h y.K e y w o r d s:d e e p l e a r n i n g;UAVa e r i a lp h o t o g r a p h y;t a r g e td e t e c t
8、i o n0 引 言无人机的图像智能感知可以增强其场景理解及提取地物信息的能力,而目标检测技术是无人机对影像智能化感知的关键技术之一1。无人机航拍图像一般具有背景复杂、目标分布密集、尺度小、同一类目标角度差大等特点。传统的目标检测算法普遍基于手动提取特征及分类器,对于此类环境复杂、尺度多变的对象难以满足精度要求。随 着 基 于 卷 积 神 经 网 络(C o n v o l u t i o n a lN e u r a lN e t w o r k s,C NN)2等的深度学习算法在检测速率和识别准确度上的提升,图像处理越来越高效。将深度学习应用于无人机航拍图像的目标检测,提取深度变化特征,可
9、以有效提高检测速率以及检测精度。目前,深度学习的主流算法有基于候选区域的*收稿日期:2 0 2 2-0 5-0 4;修回日期:2 0 2 2-1 2-0 3基金项目:仪器科学与工程学院2 0 2 1年国家级/省级S R T P项目(5 2 2 2 0 0 2 1 0 2 B)作者简介:程向红(1 9 6 3),女,博士,教授,博士生导师。E-m a i l:x h c h e n g s e u.e d u.c n第1期程向红,等:基于改进YO L O V 5的无人机航拍图像小目标检测方法双 阶 段(T w o-S t a g e)检 测 算 法,如R-C N N3、S P P-N e t4、
10、F a s tR-C N N5、F a s t e rR-C N N6、R-F C N7以及N A S-F P N8,和基于回归计算的单阶段(O n e-S t a g e)检 测 方 法9,如S S D(S i n g l eS h o tM u l t i B o xD e t e c t o r)系列和Y O L O(Y o uO n l yL o o kO n c e)1 0系列。随着深度学习技术的发展,双阶段检测算法在检测效果上有了很大提升,但是还不能满足无人机执行目标检测任务对于实时性的要求。2 0 2 0年提出的单阶段检测方法Y O L OV 5,检测速率高,可以应用于航拍图像的
11、目标检测。该方法与其他算法相比,模型框架小,部署灵活,检测速率快,适用于无人机智能感知领域1 1。将YO L O V 5目标检测算法应用于无人机航拍图像时有2个难题。一是由于无人机飞行高度较高,拍摄镜头焦距较短,拍摄目标在图像中占比小,背景环境复杂,识别难度大;二是无人机飞行作业时间短,为了提升单次作业的效率,需要简化网络以提高推理速度。这要求在改进的算法中,在保持算法精度的同时,需要改进YO L OV 5的主干网络构架,对算法网络模型进行轻量化处理以提升推理速度1 2。1 算法框架首先,利用无人机航拍图像制作数据集:在对无人机航拍图像分类、标注后,会得到带有类别标签的图像数据集1 3用于训练
12、与测试。本方案中数据集8 0%的图像作为训练集,2 0%的图像作为测试集。在Y O L O V 5网 络 的 主 干 网 络 部 分1 3,将F o c u s模块用卷积层替换掉,依次分别串联卷积层模块(C o n v+B N+L e a k y R e l u,C B L)、跨阶段局部网络(C r o s sS t a g eP a r t i a lN e t w o r k,C S P)和空间金字 塔 池 化 模 块(S p a t i a lP y r a m i d P o o l i n g L a y e r,S P P)1 4。对于得到的数据集,通过预处理操作得到特征图。将预处
13、理后的特征图输入到改进的Y O L OV 5网络,就可以得到不同尺度的特征图。将不同尺度的特征图输入到改进后的Y O L O V 5网络中的N e c k部分,经过上采样与特征融合的处理后,获得了不同尺度的张量数据。对于Y O L OV 5网络的预测层,优化后剔除大检测头及自适应锚框,输入得到的不同尺度张量数据,计算得出无人机航拍目标的检测框。最终对得到的检测框,从泛化交并比(G e n e r a l i z e dI n t e r s e c-t i o no v e rU n i o n,G I O U)、平均精度(M e a nA v e r a g eP r e c i s i o
14、 n,MA P)及推理速度3个方面进行评价,判断该技术的可用性。所提算法框架原理图如图1所示。图1 所提算法框架原理图F i g.1 S c h e m a t i cd i a g r a mo fp r o p o s e da l g o r i t h m2 改进的Y O L OV 5原理获取到1 4 0 0张无人机航拍图像,对其进行标注与分类后,将带有类别标签的 数据集1 5分为1 1 2 0张的训练集和2 8 0张的测试集,图像大小统一为1 0 2 41 0 2 4像素。对于主干网络的改进为将切片层(S l i c e)替换为卷积层(C o n v),以简化数据传输过程(见图2)。
15、具体的特征提取过程为,对数据集中的图像进行预 处 理,调 整 为6 0 86 0 83;改 进 后 的F o c u s模块中包括1个卷积层(C o n v)和1个卷积层模块,将预处理后的图像输入F o c u s模块,得到大小为3 0 43 0 43的特征图;然后将得到的特征图依次输入到2个卷积层模块、2个跨阶段局部网络模块和1个空间金字塔池化模块,最终得到大小为1 91 92 5 6的特征图。主干网络中的卷积层模块由卷积、归一化、激活函数环节构成。其中使用的激活函数为L e a k y激活函数,批量归一化公式与L e a k y激活函数如下所示x(k)=x(k)-Ex(k)V a rx(k
16、)(1)f(x)=x,x00.0 2x,x0(2)式中,x(k)为归一化损失函数;x(k)为经过该层18图2 改进YO L OV 5主干网络结构图F i g.2 B a c k b o n en e t w o r ks t r u c t u r ed i a g r a mo f i m p r o v e dYO L OV 5线性变换后的损失函数值;V a r是均方差操作符;f(x)为L e a k y激活函数;E表示输入值的均值;x表示输入值。将处理后的特征图输入到跨阶段局部网络模块优化处理,再将处理后的特征图输入至空间金字塔池化模块,通过空间金字塔池化操作,对特征图进行处理,以获得多
17、尺度的图像特征图输入N e c k部分。改进后的YO L OV 5网络中的N e c k部分由卷积层模块、跨阶段局部网络、系列特征融合模块(C o n c a t)和上采样模块构成。其中使用了能够增强学习能力的 深度网络设 计的跨阶段 局部网络(C S P N e t)1 6结构,加强了网络的特征融合能力。将得到的多尺度图像特征图输入N e c k部分,通过跨阶段局部网络和卷积层模块进一步提取特征,然后经过空间金字塔池化等操作,分3个尺度对特征图进行处理,最终获得3个不同尺度的张量数据,传递到预测层进行检测。Y O L OV 5网络中的预测层部分(见图3)由卷积层和3个大小分别为7 6 7 6
18、 2 5 5、3 8 3 8 2 5 5、1 9 1 9 2 5 5的检测头组成。在改进过程中,针对无人机航拍图像中目标分布杂散、占像素小等问题,优化剔除了针对大目标的7 67 62 5 5检测头。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框(G r o u n d t r u t h)进行比对,计算两者差距,再反向更新,迭代网络参数。最后,基于损失函数和反向传播对梯度输出无人机航拍目标的检测框。对于该自适应调整锚框(a n c h h o r b o x),将原始的锚 框 调 整 为 1 0,1 4,2 3,2 7,3 7,5 8与8 1,8 2,1 3 5,1 6 9,3
19、4 4,3 1 9。图3 改进Y O L OV 5的预测层结构图F i g.3 S t r u c t u r ed i a g r a mo fp r e d i c t i o n l a y e ro f i m p r o v e dY O L OV 528飞控与探测第6卷第1期程向红,等:基于改进YO L O V 5的无人机航拍图像小目标检测方法 对 于 输 出 结 果,通 过 泛 化 交 并 比 损 失 值(L(GI o U)、平均精度和推理速度3个参数进行评价,解释如下:泛化交并比损失函数为回归目标框损失函数。泛化交并比作为评价指标时具有非负性、对称性以及尺度不变性。泛化交并比损
20、失的值越小,目标框输出精度越高。其计算公式为Io U=ABAB(3)GI o U=Io U-C/(AB)C(4)L(GI o U)=1-GI o U(5)式中,Io U表示交并比的值,在无人机航拍图像识别中,对于2个无人机航拍目标的检测框A、B,找到一个能够同时包含的最小方框C,然后计算C/(AB)的面积与C的面积的比值,再用A、B的Io U值减去这个比值,最终得到的就是泛化交并比的值GI o U1 7,损失函数取1减去GI o U的值。平均精度是衡量多标签图像检测精度的一个指标。在多标签图像检测中,同一图像的标签往往不止一个,采用的计算精度方法和信息检索中类似,称为平均精度。目标检测的精度越
21、高,平均精度值也就越大。平均精度是通过绘制P R曲线计算 得 到,即 以 准 确 率(p r e c i s i o n)和 召 回 率(r e c a l l)作为纵、横轴坐标的二维曲线。推理速度定义为目标检测过程中1 s可检测的图像数目。目标检测网络的实时性越好,推理速度越快。3 仿真实验及结果分析3.1 实验环境与数据集具体实验环境配置如表1所示。表1 实验环境T a b.1 E x p e r i m e n t a l e n v i r o n m e n t操作系统U b u n t u 1 8.0 4G P UN v d i a3 0 8 0 T iG P U显存1 2 G开发
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于改进YOLO V5的无人机航拍图像小目标检测方法 基于 改进 YOLO V5 无人机 航拍 图像 目标 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。