基于YOLO v5m的红花花冠目标检测与空间定位方法.pdf
《基于YOLO v5m的红花花冠目标检测与空间定位方法.pdf》由会员分享,可在线阅读,更多相关《基于YOLO v5m的红花花冠目标检测与空间定位方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、doi:10.6041/1000-1298.2023.07.0272023年7 月第54卷第7 期农报学业机械基于YOLOv5m的红花花冠目标检测与空间定位方法郭辉陈海洋高国民周伟武天伦邱兆鑫(新疆农业大学机电工程学院,乌鲁木齐8 30 0 52)摘要:针对红花采摘机器人田间作业时花冠检测及定位精度不高的问题,提出了一种基于深度学习的目标检测定位算法(Mobilesafflowerdetectionandpositionnetwork,M SD P-Ne t)。针对目标检测,本文提出了一种改进的YOLOv5m网络模型C-YOLOv5m,在YOLOv5m主干网络和颈部网络插入卷积块注意力模块,使
2、模型准确率、召回率、平均精度均值相较于改进前分别提高4.98、4.3、5.5个百分点。针对空间定位,本文提出了一种相机移动式空间定位方法,将双目相机安装在平移台上,使其能在水平方向上进行移动,从而使定位精度一直处于最佳范围,同时避免了因花冠被遮挡而造成的漏检。经田间试验验证,移动相机式定位成功率为93.7 9%,较固定相机式定位成功率提升9.32 个百分点,且在X、Y、Z方向上移动相机式定位方法的平均偏差小于3mm。将MSDP-Net算法与目前主流目标检测算法的性能进行对比,结果表明,MSDP-Net的综合检测性能均优于其他5种算法,其更适用于红花花冠的检测。将MSDP-Net算法和相机移动式
3、定位方法应用于自主研发的红花采摘机器人上进行采摘试验。室内试验结果表明,在50 0 次重复试验中,成功采摘451朵,漏采49朵,采摘成功率90.2 0%。田间试验结果表明,在选取垄长为15m范围内,盛花期红花花冠采摘成功率大于90%。关键词:红花采摘机器人;深度学习;目标检测;空间定位中图分类号:TP391.4;S2 4文献标识码:A文章编号:10 0 0-12 98(2 0 2 3)0 7-0 2 7 2-10OSID:Safflower Corolla Object Detection and Spatial PositioningMethods Based on YOLO v5mGUO
4、HuiCHEN HaiyangGAO GuominZHOU WeiWU TianlunQIU Zhaoxin(College of Mechanical and Electrical Engineering,Xinjiang Agricultural University,Urumqi 830052,China)Abstract:Aiming at the problem of low accuracy of corolla detection and position during field operationof safflower picking robots,a deep learn
5、ing-based object detection and position algorithm,mobilesafflower detection and position network,MSDP-Net,was proposed.For object detection,an improvedYOLO v5m model was proposed.By inserting the convolutional block attention module,the modelprecision,recall and mean average precision were improved
6、by 4.98,4.3 and 5.5 percentage points,respectively,compared with those before the improvement.For spatial position,a camera-moving spatialposition method was proposed,which kept the position accuracy in the best range and avoided the misseddetection caused by the obstructed corolla at the same time.
7、The experimental verification showed that thesuccess rate of mobile camera-based positioning was 93.79%,which was 9.32 percentage points higherthan that of fixed camera-based positioning,and the average deviation of mobile camera-based positioningmethod in X,Y and Z directions was less than 3 mm.The
8、 MSDP-Net algorithm had better performancecompared with five mainstream object detection algorithms and was more suitable for the detection ofsafflower corolla.The MSDP-Net algorithm and the camera mobile position method were applied to theself-developed safflower picking robot for picking experimen
9、ts.The indoor test results showed that among500 replicate tests,totally 451 were successfully picked and 49 were missed,with a picking success rateof 90.20%.The field test results showed that the success rate of safflower corolla picking was greaterthan 90%within the selected monopoly length of 15 m
10、.Key words:safflower picking robot;deep learning;object detection;spatial positioning收稿日期:2 0 2 3-0 3-30 修回日期:2 0 2 3-0 5-17基金项目:新疆维吾尔自治区自然科学基金项目(2 0 2 2 D01A177)作者简介:郭辉(197 9一),男,副教授,博士生导师,主要从事特色作物采收关键技术与装备研究,E-mail:g h 97 0 2 6 12 6.c o m273郭辉等:基于YOLOv5m的红花花冠目标检测与空间定位方法第7 期0引言红花是一种集药用、油料为一体的特种经济作物
11、,我国红花产地主要分布在新疆,占全国8 0%左右1-3。由于红花花球多批次开花,花冠高低不一,采用传统机械化采收比较困难4-5。人工采摘成本在红花产收成本中占比最大6-7 。而红花采摘机器人可有效解决上述问题。由于红花生长环境为非结构化环境8 ,且花冠小、姿态朝向各异,不易识别,因此红花花冠的目标检测与定位成为红花采摘机器人的关键技术。目前针对花朵的目标检测大多采用传统目标检测方法,即利用花朵的颜色以及形状信息,通过人为提取图像特征完成花朵图像的分割9-10 。崔明等1针对草莓花朵图像特点,采用改进K均值聚类方法完成图像的分割,并利用形态学处理和连通区域特征分析提取花朵区域目标,完成对草莓花朵
12、的识别。JASON等12 采用远近识别相结合的方法,使用相机对目标区域进行识别,根据花朵颜色特征利用分类器提取图像中可能存在花朵区域,再用迁移学习的方法判断在此区域中是否存在花朵目标。在近距离识别中使用RGB-D相机(深度相机)以及实时定位与地图构建技术(Simultaneous localizationandmapping,SLA M)对植株进行重构,再用分类算法对重构的植株图像中的花朵进行识别,总体准确率达到7 8.6%。近几年,随着深度学习技术的快速发展,基于深度学习的目标检测方法在花朵目标检测领域中的应用也十分广泛。WILLIAMS等13 采用深度学习方法,通过FasterR-CNN网
13、络算法对猕猴桃花朵数据集进行训练,模型平均精度为8 5.3%。DIAS等141 采用一种对杂乱和光照条件变化具有鲁棒性的花卉识别技术,对深度卷积神经网络进行调整,训练得到的模型准确率和召回率都高于90.0%。TIAN等15】采用多类别单次检测(Single shotmultiboxdetector,SSD)深度学习方法,利用牛津大学出版的花卉数据集VOC2007和VOC2012进行训练,前者平均准确率为8 3.6%,后者平均准确率为87.0%,并可以检测多个目标花卉。赵春江等16 1提出一种基于级联卷积神经网络的番茄花期识别检测方法,在玻璃温室环境下准确率为7 6.6 7%。熊俊涛等17 通过
14、深度语义分割算法对荔枝花识别与分割,平均检测精度为8 7%。针对红花检测,张天勇等18 通过对比花丝颜色特征,运用色差法分析。选用最大类间方差法提取花丝轮廓,并通过红花丝团簇状特征,提出改进的形态学处理方法。最后结合改进质心法和最大内切圆法,确定花丝二维中心点坐标。在盛花期检测准确度为93.3%,在败花期检测准确度为53.3%。综上所述,传统目标检测方法提取的花朵特征有限,识别精度较低,适用性较差,且传统目标检测方法缺乏学习能力,不能根据图像的变化进行自动调整。本文提出一种基于深度学习的移动式红花目标检测定位算法(Mobile safflower detection and position
15、network,MSDP-Net)。该算法主要由红花花冠目标检测算法以及红花花冠空间定位算法两部分组成,以期能够准确地检测出盛花期红花花冠,并输出其三维空间坐标。1红花花冠目标检测1.1数据收集2022年7 月在新疆维吾尔自治区昌吉回族自治州吉木萨尔县红旗农场采集红花图像共计32 0 0幅,并采用随机角度旋转、随机缩放、加人随机噪点等数据增强方法,将红花图像数据集扩展至6 40 0幅,并将其按照比例7:2:1随机划分为训练集、测试集和验证集,其中训练集448 0 幅、验证集12 8 0 幅、测试集6 40 幅。李彤彤6 将红花开花过程分为4个阶段,分别为花蕾期、初花期、盛花期和败花期,如图1所
16、示。盛花期为符合本机器人采摘条件和经济效益的最佳时期19-2 0 。在不错标、不重标、不漏标的原则下,使用MakeSense2工具对每幅图像的盛花期红花花冠进行标注,得到其对应的标签文件,从而完成数据集建立。花冠花球叶(a)花蕾期(b)初花期(c)盛花期(d)败花期图14种不同花期的红花花冠Fig.1Four different stages of safflower corolla1.2YOLOv5模型选择本文基于YOLOv5算法2 2-2 3】,提出一种改进的YOLOv5算法,用于红花花冠的目标检测。利用同一红花数据集对YOLOv5的6 种架构2 4 进行训练,得到YOLOv5-Lite、
17、YO LO v 5s、YO LO v 5n、YOLOv5m、YO LO v 51以及YOLOv5x6种模型,并采用准确率(Precision,P)、召回率(Recall,R)、平均精度均值(Mean average precision,mA P)、顿速率(Fr a me s p e r s e c o n d,FPS)和模型内存占用量(Modelsize,Ms)作为衡量模型性能的主要指标,模型各项指标对比结果如表1所示。274农2023年机报业学械表1楼模型性能指标对比Tab.1Comparison of model performance metrics平均精模型内准确召回顿速率/模型度均存
18、占用率/%率/%(fs1值/%量/MBYOLO v5-Lite80.3085.1086.611896.71YOLOv5s85.9187.1888.7216628.21YOLOv5n89.4088.3190.5915141.20YOLO v5m90.2389.8391.2312783.16YOLOv5192.0986.1293.51102122.37YOLOv5x94.8287.5094.0045203.21为了对以上6 种模型进行更准确的性能评估,首先对各模型的指标进行归一化处理,以消除不同度量之间的量纲差异。采用Min-Max归一化方法2 5,将每个指标映射到0 1之间。其次根据实际应用场景
19、以及研究目标为各项指标分配以下权重:Wprecio=0.2;WReall=0.3;Wmp=0.2;Wrps=0.2;WModlize=-0.1(负权重,较小的模型在实际应用中更具优势)。根据上述权重分配计算每个模型的加权得分,计算式为P-PR-R.Pm=0.2min+0.3min+P-PR-R.maxminmaxminmAP-mAP0.2min+mAPmax-mAPminFPS-FPS,Ms-Msminmin0.20.(1)FPS,-FPSMs.Ms一maxminmaxminYOLOv56种模型的综合加权得分结果如表2所示。表2 6 种模型的综合加权得分Tab.2Comprehensive w
20、eighted scores of six modelsYOLOYOLOYOLOYOLOYOLOYOLO模型v5-Litev5sv5nv5mv51v5x0.2000.4220.5620.6290.4250.453根据表2 可知,YOLOv5m的综合加权得分在6种模型中最高。因此YOLOv5m针对红花花冠的目标检测更具有优势1.3YOLOv5m模型优化为了进一步提升对红花花冠的检测精度,对YOLOv5m模型引人卷积块注意力模块(CBA M)2 6-2 。CBA M 模块可以自适应地对输人的特征图进行调整,从而提升网络的性能和泛化能力2 8 。CBAM模块由通道注意力模块(CAM)以及空间注意力模
21、块(SAM)两部分组成,其结构示意如图2 所示。通道注意力模块利用通道之间的关联性来提取图像的重要特征,从而更好地区分不同的目标。该通道注意力模块空间注意力模块CAMSAM输人特征改进特征特征图相乘图2CBAM模块结构示意图Fig.2CBAM structure模块先对卷积层的输出进行全局平均池化和全局最大池化,得到每个通道的全局特征图,然后将其输人到2 个全连接层中,分别学习每个通道的权重,最后将权重应用到每个通道的特征图上,从而得到加权后的特征图,如图3所示。全局最大池化向量输人特征通道注意力全局平均池化向量共享全连接层按元素相加SSigmoid运算图3通道注意力模块结构示意图Fig.3C
22、hannel attention module structure空间注意力模块利用空间之间的关联性来提取图像的重要特征。该模块的实现方式类似于通道注意力模块,但是在全连接层中需要学习每个空间位置的权重,最后将权重应用到每个空间位置的通道上,从而得到加权后的特征图,如图4所示。卷积输人特征最大池化,平均池化空间注意力Sigmoid运算图4空间注意力模块结构示意图Fig.4Spatial attention module structure将CBAM模块插人到主干网络的最后1个卷积层和颈部网络的第1个卷积层之间以及颈部网络的最后1个卷积层之后,分别用于增强特征图的表达能力以及增强输出特征图的判别
23、能力。改进后的C-YOLOv5m网络结构如图5所示2红花花冠空间定位2.1相机移动式空间定位方法采用双目视觉技术来对红花花冠进行空间定位,双目相机选用Stereolabs公司生产的ZED2双目相机2 9。将双目相机连接在由步进电机驱动的滚珠丝杆平移台上,使其能够在采摘机器人左右方向上移动,如图6 所示。红花花冠空间定位流程如图7 所示。系统上电后机器人移动到待作业区域,同时目标检测定位系统归零,进人待机状态。开始作业后275郭辉等:基于YOLOv5m的红花花冠目标检测与空间定位方法第7 期主干网络颈部网络输出层输入层Focu-(3.64.1.1)Concat(512)C3(512.256)3C
24、omv2d(256.nax(ne+5)1.1)ConvConvUpsample(256)(64.128.3.2)(256.256.3.2)ConvC3(128.128)3(512.256.1.1)Concat(512)Conv(128.256.3.2)C3(1024.512)3C3(512.512)3Conv2d(512.nax(nc+5)1,1)ConvC3(256.256)9Concat(1024)(512.512.3.2)ConvUpsample(256.512.3.2)(512)Concat(1024)ConvC3(512.512)9(768.512.1.1)C3(1024.768)3
25、Conv2d(768.nax(nc+5)1.1)ConvConvC3(1536.768)3(512.768.3.2)(768.768.3.2)C3(768.768)3Concat(1536)Concat(1536)ConvUpsample(768.1024.3.2)(768)C3(1536.1024)3SPP(1024)C3(1024,1024)3ConvCBAVCBAMConv2d(1024.nax(nc+5)1.1)(1024.768.1.1)图5C-YOLOv5m网络结构示意图Fig.5C-YOLOv5mnetwork architecture68图6目标检测定位系统位置结构示意图Fig
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于YOLO v5m的红花花冠目标检测与空间定位方法 基于 YOLO v5m 红花 花冠 目标 检测 空间 定位 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。