基于YOLO-ODM的温室草莓成熟度的快速检测_陈仁凡.pdf
《基于YOLO-ODM的温室草莓成熟度的快速检测_陈仁凡.pdf》由会员分享,可在线阅读,更多相关《基于YOLO-ODM的温室草莓成熟度的快速检测_陈仁凡.pdf(8页珍藏版)》请在咨信网上搜索。
1、第42卷 第4期2023年 7月华中农业大学学报Journal of Huazhong Agricultural UniversityVol.42 No.4July 2023,262269基于YOLO-ODM的温室草莓成熟度的快速检测陈仁凡1,谢知1,2,林晨11.福建农林大学机电工程学院,福州 350002;2.福建省农业信息感知技术重点实验室,福州 350002摘要 为解决温室环境下草莓果实快速准确识别问题,提出一种基于改进YOLOv5s的草莓成熟度检测方法。在主干中引入Shuffle_Block作为特征提取网络,从而实现模型轻量化。同时,在颈部结构中使用全维度动态卷积模块(omni-di
2、mensional dynamic convolution,ODConv),以提高网络对草莓目标的信息挖掘能力,降低计算量,并进一步实现轻量化。结果显示,改进后的YOLO-ODM(YOLO with ODConv module)模型的平均精度均值达97.4%,模型体积是7.79 Mb,在GPU上的单张平均检测时间仅11 ms,浮点运算量为6.9109。与原网络相比,轻量化的YOLO-ODM方法在提高检测精度的同时,模型大小缩减43%,浮点运算量降低52%。以上结果表明,该轻量化方法可快速准确地对温室环境下草莓果实的成熟度进行检测,实现草莓的生长状态监测。关键词 草莓;成熟度;目标检测;YOLO
3、v5s;Shuffle_Block;精准识别中图分类号 TP391.4 文献标识码 A 文章编号 1000-2421(2023)04-0262-08草莓(Fragaria ananassa Duch.)是一种经济价值和营养价值较高的小浆果1。据联合国粮食及农业组织的统计数据库(https:/www.fao.org/faostat/zh/#data/QCL),中国是全世界草莓种植面积最大的国家,其2021年种植面积高达129 046 hm2。由于草莓果实一般较小且密集,常有枝叶遮挡,传统人工对草莓进行生长期观察或采摘都费时费力。目前,随着我国草莓智能化产业逐渐壮大,发展具有高准确率的果实成熟度检
4、测系统对于确定成熟度不同的果实分布区域,草莓生长的自动化监测以及果实采摘都具有重要意义。传统的草莓识别方法是先获取草莓样本的物理特征,或者结合光谱成像、电子鼻、激光诱导荧光和生物阻抗数据等,再使用机器学习的方法进行模式识别2-4。Raj等5使用支持向量机结合全光谱图像作为输入研究草莓成熟度分类,准确率超过98%,但没有全光谱数据的情况下,准确率较低。Ibba等6使用草莓的生物阻抗数据训练机器学习分类器并取得较好成果,但生物阻抗数据获取过程复杂。Shao等7采集草莓3个成熟阶段的高光谱图,结合最小二乘支持向量机和竞争性自适应重加权采样进行成熟度评估,缺点是室外评估准确率较低。上述方法受制于传统机
5、器视觉的限制,且草莓的特征提取繁琐,易受环境变化的影响,导致其检测效率低下,鲁棒性和泛化能力较差。近年来,随着深度学习在农作物检测中的兴起,传统基于特征提取的识别方法正逐步淘汰。常见的深度学习目标检测方法有 R-CNN8、SSD9、RetinaNet10和 YOLO11系列网络,目前大量的研究者将深度学习应用于水果识别和定位中。Fan等12针对草莓全天候采摘和夜间采集图像光照度低的问题,提出了一种暗通道增强算法来实现草莓成熟度检测。Su等13使用MobileNetv1作为YOLOv3的主干网络并结合SE模块,对番茄成熟度进行分类,其性能优于其他网络。黄彤镔等14在YOLOv5中引入注意力机制,
6、采用-IoU损失函数,实现在自然环境下柑橘果实的实时监测。但深度学习的模型较大,计算成本高昂。为解决上述问题,本研究提出一种轻量化的基于 YOLO-ODM 的草莓成熟度检测方法,在主干中引入 Shuffle_Block 作为特征提取网络,并在颈部结构中使用全维度动态卷积模块ODConv,以提高网络对草莓目标的信息挖掘能力,降低计算量,充分实现模型轻量化,旨在为温室大棚中草莓生长监测、果实收稿日期:2023 02 17基金项目:福建省自然科学基金项目(2019J01403)陈仁凡,E-mail:通信作者:谢知,E-mail:陈仁凡,谢知,林晨.基于YOLO-ODM的温室草莓成熟度的快速检测 J.
7、华中农业大学学报,2023,42(4):262269.DOI:10.13300/ki.hnlkxb.2023.04.030成熟度的快速准确识别提供技术支持。1材料与方法1.1数据及制作草莓数据集获取于百度飞浆 AI Studio 的公共数据集,下载网址为https:/ json 格式转化为 txt 格式。再使用 labelImg工具对草莓果实的标注信息进行检查和校正。该草莓数据集拍摄于温室大棚内,包含3 100张图片,按照 8 1 1 的比例将数据集划分为训练集(2 480张)、验证集(310张)和测试集(310张)。草莓数据集包含未成熟、半成熟和成熟草莓 3 种样本,分别为 10 880、2
8、 408 和 2 835个。数据集的基本信息如表1所示。1.2YOLOv5s网络模型为了实现草莓的快速准确定位和识别,必须同时考虑实时性和准确性,因此,本研究选用权重文件较小、推理速度较快、适合部署到边缘设备的 YOLOv5s作为基础网络。YOLOv5s由BackBone、Neck和 Head 组成,其网络结构如图 1 所示。其中 BackBone 由一系列标准卷积 CBS 模块和 C3 模块以及SPPF模块组成;Neck为路径聚合网络PANet,并融合了主干中的 3 个不同尺度特征图(P3、P4、P5);Head为检测网络Detection。1.3改进的草莓成熟度检测模型1)模型轻量化。本研
9、究使用 ShuffleNetv2中的模块(Shuffle_Block)替换YOLOv5s中的主干特征提取网络。ShuffleNet15-16引入了深度可分离卷积,深度可分离卷积可以分解为逐深度卷积(Depthwise convolution,DW)和逐点卷积(Pointwise convolution,PW)。深度可分离卷积与普通卷积计算量的比值如下:D2FD2KM+D2FMND2FD2KMN=1N+1D2K(1)其中,DF为输入特征图尺寸,DK为卷积核尺寸,M为输入通道数,N为卷积核个数。由此可见,深度可分离卷积可以大幅降低计算量。ShuffleNetv1提出了通道重排技术,通道重排技术将特
10、征图中的通道按照一定规则分成若干组,然后将每组中的元素重新排列,从而增加通道之间的信息交互和融合能力,增加模型的非线性表达能力。ShuffleNetv2增加了通道划分(channel split)操作,将输入通道划分为 2 组,然后对其中 1 组进行卷积操作,从而减少了计算量和模型参数。使用的 Shuffle_Block 如图 2 所示。左侧图为Stride=1的特征提取操作,输出通道数和特征图尺寸不变;右侧图为Stride=2的下采样操作,输出通道数翻倍,特征图尺寸减半。通过 Shuffle_Block 搭建的YOLO主干网络结构如表2所示。2)全维度动态卷积(ODConv)。使用 ODCo
11、nv替换 PANet 中的常规卷积以获取充分的上下文信息,从而使网络更加专注于草莓果实信息。常规的卷积核不具备动态属性,其卷积核参数固定不变。动态卷积可以根据输入的图片动态调整卷积核参数,使得卷积核更加专注于目标信息。为了充分利用动态卷积挖掘上下文线索的能力,引入了1种全维度动态卷积17,该卷积不仅赋予卷积核数动态属性,还关注了卷积的空间大小、输入通道数和输出通道数。表1草莓成熟度数据集基本信息Table 1Strawberry ripeness data set basic information图1 YOLOv5s网络结构Fig.1 YOLOv5s network structure第 4
12、 期陈仁凡 等:基于 YOLO-ODM 的温室草莓成熟度的快速检测成熟度的快速准确识别提供技术支持。1材料与方法1.1数据及制作草莓数据集获取于百度飞浆 AI Studio 的公共数据集,下载网址为https:/ json 格式转化为 txt 格式。再使用 labelImg工具对草莓果实的标注信息进行检查和校正。该草莓数据集拍摄于温室大棚内,包含3 100张图片,按照 8 1 1 的比例将数据集划分为训练集(2 480张)、验证集(310张)和测试集(310张)。草莓数据集包含未成熟、半成熟和成熟草莓 3 种样本,分别为 10 880、2 408 和 2 835个。数据集的基本信息如表1所示。
13、1.2YOLOv5s网络模型为了实现草莓的快速准确定位和识别,必须同时考虑实时性和准确性,因此,本研究选用权重文件较小、推理速度较快、适合部署到边缘设备的 YOLOv5s作为基础网络。YOLOv5s由BackBone、Neck和 Head 组成,其网络结构如图 1 所示。其中 BackBone 由一系列标准卷积 CBS 模块和 C3 模块以及SPPF模块组成;Neck为路径聚合网络PANet,并融合了主干中的 3 个不同尺度特征图(P3、P4、P5);Head为检测网络Detection。1.3改进的草莓成熟度检测模型1)模型轻量化。本研究使用 ShuffleNetv2中的模块(Shuffle
14、_Block)替换YOLOv5s中的主干特征提取网络。ShuffleNet15-16引入了深度可分离卷积,深度可分离卷积可以分解为逐深度卷积(Depthwise convolution,DW)和逐点卷积(Pointwise convolution,PW)。深度可分离卷积与普通卷积计算量的比值如下:D2FD2KM+D2FMND2FD2KMN=1N+1D2K(1)其中,DF为输入特征图尺寸,DK为卷积核尺寸,M为输入通道数,N为卷积核个数。由此可见,深度可分离卷积可以大幅降低计算量。ShuffleNetv1提出了通道重排技术,通道重排技术将特征图中的通道按照一定规则分成若干组,然后将每组中的元素重
15、新排列,从而增加通道之间的信息交互和融合能力,增加模型的非线性表达能力。ShuffleNetv2增加了通道划分(channel split)操作,将输入通道划分为 2 组,然后对其中 1 组进行卷积操作,从而减少了计算量和模型参数。使用的 Shuffle_Block 如图 2 所示。左侧图为Stride=1的特征提取操作,输出通道数和特征图尺寸不变;右侧图为Stride=2的下采样操作,输出通道数翻倍,特征图尺寸减半。通过 Shuffle_Block 搭建的YOLO主干网络结构如表2所示。2)全维度动态卷积(ODConv)。使用 ODConv替换 PANet 中的常规卷积以获取充分的上下文信息
16、,从而使网络更加专注于草莓果实信息。常规的卷积核不具备动态属性,其卷积核参数固定不变。动态卷积可以根据输入的图片动态调整卷积核参数,使得卷积核更加专注于目标信息。为了充分利用动态卷积挖掘上下文线索的能力,引入了1种全维度动态卷积17,该卷积不仅赋予卷积核数动态属性,还关注了卷积的空间大小、输入通道数和输出通道数。表1草莓成熟度数据集基本信息Table 1Strawberry ripeness data set basic information数据集Data set训练集 Training set验证集 Validation set测试集 Test set合计 Total图像Images2 4
17、803103103 100未成熟Immaturity8 8061 0171 05710 880半成熟 Medium1 9162412512 408成熟Maturity2 2462942952 835图1 YOLOv5s网络结构Fig.1 YOLOv5s network structure263第 42 卷 华 中 农 业 大 学 学 报常规卷积只有1个静态卷积核且与输入样本无关,而传统的动态卷积核使用注意力机制将多个卷积核动态加权再线性组合,普通动态卷积的计算如式(2)所示。而全维度动态卷积关注于核空间的所有维度,其计算如式(3)所示。y=(w1W1+wiWi)*x(2)y=(w1f1c1s1
18、W1+wificisiWi)*x(3)其中,x代表输入特征图,y代表输出特征图,Wi代表第i个卷积核,wi为第i个卷积核的注意力标量,si、ci和fi分别表示沿空间、输入通道和输出通道的注意力标量(i=1,2,3,n),代表沿核空间不同维度的乘法运算。ODConv关注了核空间的 4个维度(核尺寸、输入通道数、输出通道数和核个数)。使用了与SE注意力机制相同的计算方式,首先将输入x通过全局平均池化(golbal average pooling,GAP)压缩到与输入通道同长度的特征向量中,然后用全连接层FC(fully connected layers,FC)将特征向量映射到低维空间,再经过ReL
19、U激活函数,并分别通过4个FC层和Sigmoid激活函数或Softmax函数生成核空间的4个注意力标量si、ci、fi和wi。全维度动态卷积的过程如图3所示。3)损失函数。YOLO传统的边界框回归损失函数是交并比损失(intersection over union,IoU),IoU计算的是预测框(A)和真实框(B)的交叠率。IoU的计算表达式如下:IoU=ABAB(4)传统的IoU损失有2个缺点:第一,如果预测框图3 全维度动态卷积Fig.3 Omni-dimensional dynamic convolution左侧图为s=1的特征提取操作;右侧图为s=2的下采样操作。The left fi
20、gure is the feature extraction operation with s=1.The right figure is the subsampling operation with s=2.图2 Shuffle_Block结构Fig.2 Shuffle_Block structure diagram表2主干网络Table 2Backbone network层Layer01234567模块BlockCBRMaxPoolShuffle_BlockShuffle_BlockShuffle_BlockShuffle_BlockShuffle_BlockShuffle_Block输出
21、通道数Output channel3232128128256256512512特征图尺寸Feature map size320320160160808080804040404020202020步长Stride22212121输入到NeckInput into Neck 注:”表示此处的输出特征图输入Neck。Note:indicates that the output feature map here is input into Neck.264第 4 期陈仁凡 等:基于 YOLO-ODM 的温室草莓成熟度的快速检测和真实框不相交,那么无法计算出2个框之间的真实距离;第二,预测框和真实框的相交
22、状态无法精确计算。为解决上述问题,一系列改进的IoU损失被提出,例如:GIoU、DIoU和CIoU等。YOLOv5s使用的IoU损失函数为CIoU,CIoU损失考虑了预测框和真实框的重叠面积、中心点距离和长宽比,但其描述的长宽比仍有一定的模糊性,EIoU在CIoU的基础上拆开长宽比并用长宽的差异值取代长宽比。EIoU损失由两框之间重叠损失LIoU、两框之间中心距离损失Ldis以及两框之间宽和高损失Lasp组成。其公式为:LEIoU=LIoU+Ldis+Lasp=1-IoU+2()b,bgtc2+2(w,wgt)c2w+2()h,hgtc2h (5)其中,为2个框中心点之间的欧氏距离,b和bgt
23、分别代表预测框和真实框,c代表2个框的最小外接矩形的对角线长度,w和h分别代表预测框宽和高,wgt和hgt为真实框的宽和高,cw和ch是覆盖预测框和真实框的最小外接矩形的宽和高。考虑到边界框的回归过程中存在正负样本不平衡问题,引入Focal-EIoU18损失,在EIoU的基础上结合了Focal损失,从梯度的角度出发,把高质量和低质量的锚框区分开以解决样本不平衡问题,Focal-EIoU的计算表达式如下:LFocal-EIoU=IoULEIoU (6)其中,为控制异常值抑制程度的参数。Focal-EIoU损失不仅考虑到预测框和真实框的中心点距离、重叠面积和长宽的差异值,还考虑到边界框回归中样本不
24、平衡问题。因此,本研究使用Focal-EIoU损失。综合以上三方面的改进,本研究提出的草莓成熟度检测模型YOLO-ODM如图4所示。该模型以图1所示的YOLOv5s作为基础网络模型;使用Shuffle_Block替换主干特征提取网络以实现网络结构的轻量化;使用ODConv模块替换PANet中的普通卷积模块来加强网络的上下文信息挖掘能力,提高模型对草莓果实的检测能力,同时也进一步降低模型运算量;使用Focal-EIoU损失以解决样本不平衡问题。1.4评价指标所用模型的评价指标为精确率(precision,P)、召回率(recall,R)、平均精度均值(mean of average precis
25、ion,PmA)、浮点运算量、模型大小、参数量和推理图4 YOLO-ODM结构Fig.4 Structure diagram YOLO-ODM265第 42 卷 华 中 农 业 大 学 学 报速度。其中PmA基于Precision-Recall曲线得出,能够全面评估算法的准确性和鲁棒性。计算公式如下:P=TPTP+FP(7)R=TPTP+FN(8)PmA=i=1CPi,AC(9)其中,TP表示真正例,FP表示假正例,FN表示假负例,Pi,A表示每个类别的平均精度(average precision),C表示总类别数。1.5实验环境及参数设置本实验的硬件环境为 Intelcore i5-1260
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 YOLO ODM 温室 草莓 成熟度 快速 检测 陈仁凡
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。