基于YOLO v5s和改进SORT算法的黑水虻幼虫计数方法.pdf
《基于YOLO v5s和改进SORT算法的黑水虻幼虫计数方法.pdf》由会员分享,可在线阅读,更多相关《基于YOLO v5s和改进SORT算法的黑水虻幼虫计数方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023年7 月第54卷第7 期农报学业机械doi:10.6041/j.issn.1000-1298.2023.07.034基于YOLOv5s和改进SORT算法的黑水虹幼虫计数方法赵新龙顾臻奇李军?(1.浙江理工大学信息科学与工程学院,杭州310 0 18;2.台州学院智能制造学院,台州318 0 0 0)摘要:目前农业环境下的无序目标的精确计数有很高的应用需求,这种计数对其生物量、生物密度管理起到了重要的指导作用。如黑水虹幼虫目标追踪过程中,追踪对象具有高速和非线性的特征,常规算法存在追踪目标速度不足和丢失目标后的再识别困难等问题。针对以上问题,本文提出了一种改进SORT算法,通过改进卡尔曼
2、滤波模型的方式提升目标追踪算法的快速性和准确性,提升了计数的精度。另外,针对黑水虹幼虫目标识别过程中幼虫性状的多样性和混料导致的复杂背景问题,本文通过实验对比多种深度学习网络性能选定YOLOv5s算法提取图像多维度特征,提升了目标识别精度。实验结果表明:在划线计数方面,本文提出的改进SORT算法与原模型相比,平均精度从91.36%提升到95.55%,提升4.19个百分点,通过仿真和实际应用,证明了本文模型的有效性;在目标识别方面,使用Y0L0v5s模型在训练集上顿率为156 f/s,m A P0.5为99.10%,精度为90.11%,召回率为99.2 2%,综合性能优于其他网络。关键词:黑水虹
3、幼虫;目标识别;目标追踪;划线计数;YOLOv5s;SO RT 算法中图分类号:TP391.41文献标识码:A文章编号:10 0 0-12 98(2 0 2 3)0 7-0 339-0 8OSID:Larvae of Black Soldier Fly Counting Based on YOLO v5sNetwork and Improved SORT AlgorithmZHAO XinlongGU ZhenqiLI Jun2(1.School of Information Science and Engineering,Zhejiang Sci-tech University,Hangzh
4、ou 310018,China2.Department of Intelligent Manufacturing,Taizhou University,Taizhou 318000,China)Abstract:There is a high application demand for accurate counting of disordered targets in agriculturalenvironments,and such counting plays an important guiding role in their biomass and biological densi
5、tymanagement.In the process of larvae of black soldier fly target tracking,the tracking object has thecharacteristics of high speed and non-linearity,and the conventional algorithm has the problems ofinsufficient speed of tracking target and difficulty of re-identification after losing the target.To
6、 addressthese problems,an improved SORT algorithm was proposed,which improved the speed and accuracy ofthe target tracking algorithm by improving the Kalman filter model,and enhanced the counting accuracy.In addition,for the complex background problem caused by larval trait diversity and mixing in t
7、he processof black gadfly larval target recognition,the target recognition accuracy was improved by experimentallycomparing the performance of multiple deep learning networks,which selected YOLO v5s algorithm toextract multidimensional features of images.The experimental results showed that in terms
8、 of delineationcounting,the improved SORT algorithm improved the average accuracy by 4.19 percentage pointscompared with the original model,from 91.36%to 95.55%,and the effectiveness of the model wasproved through simulation and practical application.In terms of target recognition,using the YOLO v5s
9、model on the training set achieved a frame rate of 156 f/s,mAP 0.5 value of 99.10%,accuracy of90.11%,and recall rate of 99.22%.Its overall performance was better than other networks.Key words:larvae of black soldier fly;target recognition;target tracking;scribe counting;YOLO v5s;SORT algorithm收稿日期:2
10、 0 2 2-12-15修回日期:2 0 2 3-0 3-31基金项目:浙江省自然科学基金项目(LY22F030003)作者简介:赵新龙(197 7 一),男,教授,博士,主要从事精密驱动控制和智能控制研究,E-mail:z h a o x i n l o n g z s t u.e d u.c n通信作者:李军(196 6 一),男,教授,主要从事机电控制研究,E-mail:t z x y l i j u n 12 6.c o m农3402023年机学业报械0引言黑水虹幼虫又称“凤凰虫”,是一种全世界广泛分布的资源昆虫,其以禽畜粪便、生活废弃物为食,而其本身蛋白质、脂肪含量较高,能用于生产高
11、价值的动物蛋白饲料,在全世界范围内被大量用于厨余垃圾、性畜粪便等有机废物的无害化处理1-2 。有机废物转化效率受其生物密度影响,为达到效率的最大化,需要找到幼虫密度与有机废物处理速度之间的关系,因此需要对黑水蛇幼虫进行计数3过去常使用人工计数方式,近几年,随着机器视觉的广泛应用,基于机器视觉的目标计数成为一大研究方向。而黑水虹幼虫这类目标具有繁殖迅速、生物量巨大的特性,人工计数方式费时费力,所以基于机器视觉的目标计数方式有巨大的应用价值。在目前研究中,基于机器学习的检测计数有两种主要的实现方式:第1种为通过获得包含需求计数目标的图像数据集,将图像中的所有目标统计出来;第2 种根据被识别目标的运
12、动学特性实现计数。第2 种方式自上而下需要经过目标识别和目标追踪两个过程,经过大量研究成果总结,第1种方式主要研究问题为:对大密度和重叠导致大量信息丢失的目标进行目标识别4-6第2 种方式主要研究的问题为实现目标识别后的目标追踪任务7 。两种计数方式应用场景不同,各有优劣:第1种方式以张璐等8 对鱼群计数的研究为例,优点在于算法逻辑简单,但现实应用中存在图像过大导致处理速度下降的缺点。针对上述问题,本文主要进行第2 种方式的研究。关于目标识别,在应用于黑水虾幼虫的情境下,本文需要克服两个困难:饲料背景对幼虫目标的干扰以及幼虫聚集的情况。普通算法提取特征单一,无法考虑多维特征,但深度学习算法可以
13、提取多维度特征,为此类情况的解决提供了方法。其中,基于卷积神经网络(Convolutional neural network,CNN)建立的目标识别算法,在农业采摘机械、光伏设备缺陷检测、各种机器人视觉中被大量应用9-13。文献14 在研究FasterRCNN(更快速区域卷积神经网络)检测方面的研究过程中,对比了YOLO网络和FasterR-CNN网络处理速度,相同条件下YOLO网络拥有比FastR-CNN快一个数量级的速度优势。文献15 通过改进YOLOv3网络提高了其对小目标检测的敏感性,使目标推理精度提高2.36%,达到92.43%。文献16】使用YOLOv3-tiny,为YOLO系列中
14、结构最简单的网络,识别农田中的障碍物,精度和召回率也分别达到95.5%和93.7%。最近,随着Yolo系列新网络模型YOLOv6和YOLOv7的推出,目标检测技术的研究和应用又取得了新的突破17-19。】。其中,文献2 0 证明了改进后的YOLOv7在小目标检测方面优于其他模型的效果。综上所述,YOLO网络在目标识别的大量实际应用场景有较好的精度表现,对小目标具有很好的灵敏度,再加之其运行速度快,对应文中黑水幼虫个体目标小、数量多的特点,作为本研究的目标识别部分算法能达到较好的效果。多目标追踪(Multipleobjecttracking,M O T)主要需要解决目标形态尺度变化、目标遮挡消失
15、、重新出现后再次追踪这三大问题。由于其在实际应用中巨大的价值,在全世界有大量研究者,且提出了许多不同的方法解决这个问题,主要可以分为3种方向:基于排序算法(Simple online and realtime tracking,SORT)和DeepSORT的先检测后追踪的方式21-24基于JDE和CenterTrack的检测和追踪结合的方式;基于TransTrack和TrackFormer的注意力机制的方式2 5-2 6 。本文采用第1种目标追踪方式,其中SORT适用于处理高密度目标的情况,而DeepSORT是在SORT基础上发展而来的算法,它将深度学习技术应用于目标跟踪中,适用于需要进行多目
16、标跟踪以及在遮挡和交叉行人等情况下进行目标追踪的应用场景。然而,针对黑水虹幼虫计数应用,其目标追踪在传送带上无遮挡,且由于幼虫密度高导致计数速率要求高,因此SORT算法更加适合当前的应用情况。文献2 7 构建了标准SORT算法,在使用较小计算量的情况下,精度与最先进在线追踪器相当,同时,追踪器更新频率达到2 6 0 Hz,为本文目标追踪实现提供了思路。本文完成硬件平台搭建,根据硬件设备建立数据集。自上而下实现基于YOLOv5s深度学习网络黑水虹幼虫的目标识别任务和基于标准SORT目标追踪算法,结合两种算法实现上文的第2 种计数方式。在目标识别算法方面,本文通过对比YOLOv5s与其他网络的性能
17、差异,提供选择YOLOv5s的依据;在目标追踪方面,针对原始SORT算法目标追踪不稳定导致的计数精度不足问题,本文结合卡尔曼滤波原理,改进SORT目标追踪模型,通过仿真和应用实验,论证改进SORT模型在幼虫计数系统应用上的优越性。1材料与方法1.1硬件平台与实验数据1.1.1硬件平台搭建为收集数据需要,设计并制造如图1所示设341赵新龙等:基于YOLOv5s和改进SORT算法的黑水虹幼虫计数方法第7 期备,设备主要由上料机构、传输机构、相机支架机构、支撑机构等4部分组成。使用深圳亿维X1一32TD-EO型可编程逻辑控制器(PLC)作为下位机控制机械部分动作,伺服电机选用禾川SV-X3MM200
18、A。使用个人计算机(PC)作为上位机进行图像处理,显卡为NVIDIARTX2060,显存6 GB,CPU型号为Inteli7-117002.5GHz,深度学习框架为Pytorch(Py t h o n 3.9,Py t o r c h 1.10.2,torchvision 0.11.3)。1图1设备实物图Fig.1Physical drawing of equipment1.工业相机2.传输机构3.光源4.振动上料机构5.底座1.1.2实验数据收集使用上述设备获取5段黑水虹幼虫计数视频作为本文计数结果测试数据集。另外,分别通过上述设备和手机拍摄的方式获取各50 幅共10 0 幅包含目标的图像作
19、为训练集,构成中等规模的训练集用于YOLOv5s网络训练。1.2幼虫计数实现方法为实现幼虫计数目标,需要研究基于YOLOv5s的目标识别、基于SORT的目标追踪和程序实现3个部分,各部分包含功能如图2 所示。系统中首先使用YOLOv5s实现目标识别,再通过SORT算法实现被识别目标的身份标识号(Identitydocument,I D)指派,同一个ID目标分别有两顿画面在划线两侧则计数值增加,图3为划线计数逻辑示意图。基于YOLOv5s神经网络的改进SORT幼虫计数系统基于YOLOv5s的基于SORT的目程序实现目标识别实现标追踪实现幼虫数据集建立基于迁移学习的模型训练卡尔曼滤波预测甸牙利算法
20、ID指派划线计数逻辑实现用户界面实现图2幼虫计数系统结构框图Fig.2Structure of larval counting system图3划线计数示意图Fig.3Schematic of line counting1.2.1基于YOLOv5s的目标识别实现YOLOv5s是YOLOv5网络中深度最小的网络,该网络在本文硬件配置情况下运行速度能够达到156 f/s,目标识别的精度也能达到预期需求。YOLOv5s28网络主要由Backbone、Ne c k、D e t e c t 网络组成,图4为其网络结构图。Backbone由一系列卷积神经网络组成以提取图像特征,其第1层Focus层能减少模
21、型的计算量,加快训练速度。Neck是一系列图像特征混合组合的特征聚合层,将Backbone层传输来的特征降维排列,然后将输出的特征图传输到Detect层。Detect层主要用于模型的最终检测,对上一层输出的特征图应用锚框,输出一个向量,包含被识别的目标位置、执行度以及类别,有7 6 7 6、38 38、1919共3种尺寸的输出,分别用于对大、中、小3种尺度目标的NeckConvUpsampleConcatBackboneBottleneckCSPFocusConvConvUpsampleBottleneckCSPConcatDetectConvBottleneckCSPDetect76x762
22、553xBottleneckCSPConvConvConcat3xBottleneckCSPBottleneckCSPDetect38x38x255ConvConvSPPConcatBottleneck CSPBottleneckCSPDetect1919255图4YOLOv5s网络基本结构Fig.4Basicstructureof YOLOv5s式342农2023年机报学业械识别,需提升对更小物体的敏感性可减少19 19输出层的大小1.2.2基于SORT的目标追踪实现图5为目标追踪算法实现过程的示意图。主要流程为:首先,获得T顿中目标位置;然后,使用卡尔曼滤波获得T,帧目标在T;+顿时预测位
23、置,如图5中T.+1时刻的彩色框所示,Ti+1时刻灰色目标为实际目标位置;最后,获得预测位置(彩色)与实际位置(灰色)的交并比(Intersectionoverunion,IOU),通过匈牙利算法以上述交并比取非为代价矩阵得到前后两顿目标之间的对应关系。在主程序中实现过程:先通过目标识别算法获得包含x l,y l,x 2,y 2,c l s 5个特征的列表,然后将列表输人SORT算法后返回xl,y l,x 2,y 2,ID 列表,如前后两顿中相同ID的目标为同一目标。(a)T,时刻(b)T,时刻图5SORT算法追踪示意图Fig.5Graphical representation of SORT
24、 tracking(1)标准卡尔曼滤波跟踪模型实现在SORT算法中使用标准卡尔曼滤波模型,其状态量公式为X=(x,y,s,r,x,y,s)(1)式中x一一目标框长轴中心位置一目标框宽轴中心位置S目标框面积目标框长宽比长轴中心位置变化率宽轴中心位置变化率面积变化率X-一状态向量使用通用运动学模型离散化后得到100010010 00100100 01X,=FX-1=0001000Xk-10 00 010000 00 010LO000001(2)式中F-状态转移矩阵X.-1第k-1时刻的状态向量X一第k时刻的状态向量观测量为卡尔曼预测输出结果,只需要状态量中前4个变量,得到卡尔曼滤波观测方程为100
25、00007010000Z,=H xX,=XX(3)0010 00 0LO0 0100式中H-一观测矩阵Z一一第k时刻的观测向量(2)交并比计算实现两个目标框交集面积与并集面积的比值可以用于评定两个目标框重合的程度,即A(C)nA(G)Iou(C,G)(4)A(C)UA(G)中A(C)一目标框C面积A(G)一识别框G面积Io(C,G)一一目标框C与识别框G的交并比重合度与I0U的关系如图6 所示(a)IOU低(b)0U中(c)IOU高图6交并比计算示意图Fig.6Illustrations of IOU calculation(3)使用匈牙利算法解决ID指派问题在卡尔曼滤波器正常工作的前提下,预
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于YOLO v5s和改进SORT算法的黑水虻幼虫计数方法 基于 YOLO v5s 改进 SORT 算法 黑水 幼虫 计数 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。