基于YOLOv5的水果品质检测与分类方法研究.pdf
《基于YOLOv5的水果品质检测与分类方法研究.pdf》由会员分享,可在线阅读,更多相关《基于YOLOv5的水果品质检测与分类方法研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 22卷 第 9期2023年 9月Vol.22 No.9Sept.2023软 件 导 刊Software Guide基于YOLOv5的水果品质检测与分类方法研究罗家梅1,王敏1,2(1.赣南师范大学 数学与计算机科学学院;2.江西省数值模拟与仿真技术重点实验室,江西 赣州 341000)摘要:水果品质检测与分类对于水果生产、加工、运输和销售具有重要意义。基于传统深度学习技术的水果品质检测方法的精确度和速度有待提高,为此提出基于YOLOv5目标检测算法的水果品质检测与分类方法。首先采集苹果、橘子、香蕉和梨4种水果图像,通过LabelImg工具对其进行标注,从而构建水果图像数据集;然后给出YOL
2、Ov5s训练方法,得到性能优异的水果品质检测与分类网络模型。结果表明,YOLOv5s算法对水果品质检测与分类的平均准确率可达 95.3%,与 YOLOv3、YOLOv3-spp、YOLOv3-tiny 和 YOLOv4-tiny 相比,分别提高了 3.7%、0.2%、13.1%和8.73%。算法单幅图像推理时间为10.5 ms,具有一定的先进性。采用YOLOv5算法检测水果品质可为实际农业场景下的水果等级分类提供新思路。关键词:水果品质检测;深度学习;YOLOv5;目标检测;水果数据集DOI:10.11907/rjdk.222184开 放 科 学(资 源 服 务)标 识 码(OSID):中图分
3、类号:TP391 文献标识码:A文章编号:1672-7800(2023)009-0190-06Research on Fruit Quality Detection and Classification Method Based on YOLOv5LUO Jiamei1,WANG Min1,2(1.School of Mathematics and Computational Sciences,Gannan Normal University;2.Jiangxi Provincial Key Laboratory of Numerical Simulation and Simulation T
4、echnology,Ganzhou 341000,China)Abstract:Classification and detection of fruit quality is significant for fruit producing,processing,transporting and selling.In order to improve the precision and speed of detection,propose a fruit quality detection and classification scheme which using the detection
5、algorithm YOLOv5 based on fruit images.Firstly,four kinds of fruit images including apples,oranges,bananas and pears are collected,and fruit images are labeled by the LabelImg tool to construct a fruit image dataset.Secondly,the YOLOv5s training method is given to obtain a fruit quality detection an
6、d classification network model with excellent performance.The results show that the average detection accuracy of YOLOv5s for fruit quality detection and classification can reach 95.3%,which is 3.7%,0.2%,13.1%and 8.73%compared with YOLOv3,YOLOv3-spp,YOLOv3-tiny and YOLOv4-tiny,respectively.The infer
7、ence time of the algorithm per image is 10.5 ms,which has a certain degree of advancement.The use of YOLOv5 algorithm to detect fruit can provide new ideas for fruit quality detection in actual agricultural scenarios.Key Words:fruit quality detection;deep learning;YOLOv5;object detection;fruit datas
8、et0 引言目前,水果产业已经成为我国继粮食、蔬菜之后的第三大农业种植产业,是国内外市场前景广阔且具有较强国际竞争力的优势产业。人工智能技术支持下的水果品质检测与分类技术对于水果生产、加工、运输和销售具有重要意义,尤其是在快节奏的“互联网+”环境下,水果品质检测与分类方法的性能和速度直接影响水果产业的经济效益和市场竞争力。最早的水果品质检测与分类工作依赖人工,容易受到人的情绪、疲劳程度以及身体状况等因素影响,而且每个人的分类标准有所差异,从而导致高成本、低效率的弊端。随后,机械检测分类方法逐渐替代人工检测1,但该方法会对水果造成一定程度的损伤,导致其保质期缩短甚至腐烂,直接影响经济效益。因此,
9、目前学者们开始尝试使用以机器视觉和机器学习为代表的人工智收稿日期:2022-10-11基金项目:江西省自然科学基金项目(20202BAB202017);江西省教育厅科技项目(GJJ201401)作者简介:罗家梅(1995-),女,赣南师范大学数学与计算机科学学院硕士研究生,研究方向为深度学习;王敏(1981-),男,博士,赣南师范大学数学与计算机科学学院副教授、硕士生导师,研究方向为智能多媒体技术。本文通讯作者:王敏。第 9 期罗家梅,王敏:基于YOLOv5的水果品质检测与分类方法研究能技术研究水果品质检测与分类方法。传统智能检测方法是基于特征设计与分类实现的,特征设计主要是提取颜色2、形状3
10、和纹理4等特征,经典分类方法包括支持向量机5、人工神经网络6、最邻近分类7等。然而这些方案都是通过从大量数据中获取有用特征并建立有效模型来处理问题,受限于算法自身的局限性,在复杂场景下同时检测水果品质和种类的鲁棒性差,难以满足实时检测要求。基于深度学习的水果检测方法分为基于候选区域的目标检测方法和基于回归的目标检测方法两类。基于候选区域的目标检测方法亦称为两阶段方法,典型网络模型包括 Fast R-CNN(Fast Region-based Convolutional Neural Network)、Mask-RCNN(Mask Region-based Convolutional Neura
11、l Network)等。基于回归的目标检测方法也被称为一阶段方法,该类方法能在一个网络中同时进行回归和分类操作,减少了计算量并提升了检测速度,典型网络模型包括 YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等。融合深度学习技术的水果品质检测与分类方法较传统机器学习方法具有一定优势,但检测性能和速度仍有提升空间。1 相关研究为达到高效、精确且非接触的检测目的,自20世纪70年代起,国内外学者将机器视觉技术应用于水果分类研究中,并取得了一定成果。例如,Zeeshan等2提出使用计算机视觉和支持向量机对 18类水果进行分类,通过
12、提取颜色、纹理和形状特征创建特征空间,然后结合支持向量分类器进行分类,最终分类准确率达到了 87.06%;Yue等3以烟台苹果为研究对象构建分类检测系统,利用Canny边缘算法提取苹果的外轮廓,通过几何计算提取大小特征,同时采用圆形法提取水果形状特征,分类准确率达到92.33%,但该方法存在一定的机械损失;艾妮4以机器视觉技术为基础构建水果自动分拣系统,通过提取中心关键点的方法对目标水果进行定位,最终该系统对于形状规则的苹果和橘子分类准确率可达92%,但对于形状不规则的水果难以取得良好分类效果;Bekkanti等5提出利用Sobel边缘检测和支持向量机对患病水果进行自动检测,对患病水果和非患病
13、水果的分类准确率达到92%;Huang 等6使用人工神经网络探索土壤和叶片中矿物质养分对枇杷果实品质的影响,同时进行了敏感性分析以确定果实质量,所建立的人工网络预测模型通过优化矿物元素含量来提高枇杷果实品质;饶剑等7设计了一套由成像系统、照明设备、传送装置和数据处理中心等组成的类球形水果外形尺寸在线检测系统,将类球形水果的表面缺陷特征参量作为重要检测指标,并以此进行分级判定,最终平均识别率达94.4%。然而,以上方法性能依赖于水果表面特征设计和分类方法的选取,存在两方面问题:一是特征提取需要人工设计,工作量较大;二是同时进行特征提取和分类的传统机器学习方法对系统性能较高。近年来,深度学习技术在
14、水果品质检测与分级分类中的应用越来越广泛。例如,Mai等8将多分类器融合策略合并到Faster R-CNN网络模型中对两个小型水果数据集进行检测,使用相关系数衡量分类器的多样性,并引入一种具有分类器相关性的损失函数训练区域提议网络,取得了较好的检测效果,但由于该方法需要边界框注释,检测效率较低;Liu等9采用R-FCN(Region-based Fully Convolutional Networks)方法识别复杂背景下的水果目标,通过降低提取候选区域的时间提高了检测速度,但检测精度存在一定提升空间;王红君等10采用改进YOLOv3模型检测复杂环境中的苹果、桃子、香橙、梨,最终平均精度达到92
15、.27%,检测速度为 45 帧/s;王卓等11提出一种以 YOLOv4为基础的轻量化苹果实时检测方法YOLOv4-CA,通过引入深度可分离卷积和坐标注意力机制,在降低网络计算复杂度的同时提高了抗背景干扰能力,最终平均检测精度为92.23%,在嵌入式平台的检测速度为改进前模型的3倍;涂淑琴等12提出基于残差网络13和特征金字塔网络(Feature Pyramid Network,FPN)14的 FasterR-CNN 检测算法,对无遮挡、遮挡、重叠和有背景4种情况下的百香果进行自动检测,最终得到平均检测精确率为87.98%;黄豪杰等15针对自然环境下目标水果检测率不高和检测模型泛化性不强等问题,
16、提出一种基于深度学习的 SSD 改进模型,其以苹果、橙子、荔枝作为研究对象,以自然环境为研究背景,得到由SSD改进的SSD300和SSD512模型平均检测精度分别为83.05%、84.24%。然而,以上研究仅针对类球形水果展开,对非类球形水果品质检测与分类的研究有待加强。从以上分析可知,基于传统深度学习技术的水果检测方法仍有提升空间。YOLOv5具有检测精度较高、速度快和易部署等优势16,为此提出基于YOLOv5目标检测算法的水果品质检测与分类方法,以期为为实际农业场景下的水果品质检测提供新思路。2 YOLOv5模型YOLO 是一种广泛应用于工业17-18、交通19-21、医疗22和农业23-
17、25等领域的目标检测网络模型,其于 2016年由 Joseph Redmon 等26首次提出,随后相继提出 YOLOv2、YOLOv327、YOLOv428、YOLOv512版本。YOLOv5在YOLOv4的基础上进行了参数优化调整,检测速度有所提升。例如YOLOv5在Tesla P100加速器上可实现140帧/s的快速检测,能够满足工业生产线实时检测要求。按照模型大小不同,YOLOv5推出了s、m、l和x 4个不同网络深度和宽度的网络模型,其中YOLOv5s网络是YOLOv5系列中深度最小、特征图宽度最小的模型。为满足水果表面质 1912023 年软 件 导 刊量检测速度要求,本文采用计算速
18、度最快的 YOLOv5s模型。如图1所示,YOLOv5s算法网络模型主要分为输入端、骨干端、颈部端、头部端4个模块。输入端的主要功能是对输入图像进行预处理,包括Mosaic数据增强、自适应锚框计算、自适应图像缩放 3个模块,其中 Mosaic数据增强以4张图像为输入,通过随机缩放、随机裁剪、随机排布的方式进行拼接;自适应锚框计算对训练输出中的预测框与真实框进行距离计算,通过反向迭代达到更新网络参数的目的;自适应图像缩放则利用等比缩放或黑边填充方法得到统一图像,从而提高目标检测速度。骨干端由 Focus、Conv、BottleneckCSPn、空 间 金 字 塔 池 化(Spatial Pyra
19、mid Pooling,SPP)等模块组成,其是网络的主干部分。该模块采用 Focus结构对图片进行切片操作,将其切分为 4张互补的图片,最后进行卷积运算。BottleneckCSPn由3个卷积层和N个Bottleneck模块Concat组成,如果带有False参数则未使用Bottleneck模块,而是采用Conv+BN+Leaky_Relu+Conv,其中 Bottleneck先是 11的卷积层,再是 33的卷积层,最后通过残差结构与初始输入相加,主要目的是减少参数数量,从而减少计算量,且在降维之后可以更加有效、直观地进行数据训练和特征提取。在特征生成部分则沿用之前的SPP结构,主要作用是增
20、加特征的多样性,防止过拟合现象出现,同时加快网络收敛速度。颈部端网络采用路径聚合网络(Path-Aggregation Network,PANet)进行特征融合,即在FPN自顶向下的基础上添加一个自底向上的信息流通路径,有利于提高特征提取能力。头部端输出端采用GIOU函数作为边界框的损失函数,在目标检测后处理过程中使用非极大值抑制(Non Maximum Suppression,NMS)对多目标框进行筛选,增强了多目标和遮挡目标的检测能力。3 数据集构建通过现场拍摄和网络爬虫方法进行图像采集,为保证分类效果,照片覆盖4类不同品质、不同形状和纹理的水果。数据集具体构建步骤为:(1)数据采集。实验
21、数据集由网络数据和现场数据两部分组成,其中网络数据由爬虫工具从互联网获取的苹果、橘子、香蕉和梨4种果实形状不同的水果图像组成;现场数据则由相机或手机在果园和超市等地点拍摄得到。需要注意的是,现场图像数据是在不同光照条件、角度和背景环境拍摄得到的,因此最后需从数据集中剔除像素不清晰以及果实存在严重遮挡的图像。(2)数据标注。使用LabelImg软件对图像数据进行标注,并以PascalVOC格式保存为XML文件,文件名与图像名保持一致。图2给出了苹果的标注示例。(3)数据分割。通过上述两个步骤得到2 190张图像,80*80*25540*40*255输入端ConvConcatBCSP1Conv上采
22、样BCSP1骨干端FocusBCSP1ConvBCSP3BCSP3SPP颈部端20*20*255头部端ConvConvConvConv上采样ConcatConcatConcatBCSP1BCSP1BCSP1ConvConvDetectConv=convBNconv步长为2BottleneckConvConvaddBCSPn=ConvBottleneck*Nn个convconvConcatBNLeakyRuLUConvFocus=SliceSliceSliceSliceConcatConvSPP=ConvMaxpool5Maxpool5Maxpool5ConcatConv=(True)Fig.1
23、Network structure of YOLOv5s图1YOLOv5s网络结构Fig.2Apple annotation example图2苹果标注示例 192第 9 期罗家梅,王敏:基于YOLOv5的水果品质检测与分类方法研究按照8 1 1的比例将其划分为训练集、验证集和测试集。4 实验方法4.1实验环境与参数设置实验计算机配有 i7-7820X CPU、Geforce GTX 1080 Ti显卡和 128 GB 内存,操作系统为 Windows Server 2019,采用 PyTorch 1.10 深度学习框架。实验使用随机梯度下降(Stochastic Gradient Desce
24、nt,SGD)29优化器训练网络,修改目标种类参数nc(number of classes)为8,同时分别命名为 apple、damaged_apple、orange、damaged_orange、pear、damaged_pear、banana、damaged_banana。数据集配置文件ab.yaml中设置好数据集路径,输入图像尺寸为 900900,迭代次数(epochs)为 300,批处理大小(batch size)为 8,动量因子为 0.937,权重衰减系数为0.000 5。选用自动锚点检测,采用Mosaic数据增强策略,初始学习率为0.001。4.2评价指标使用精确率(Precisi
25、on)和召回率(Recall)作为水果分类评价指标,表示为:Precision=TPTP+FPRecall=TPTP+FN(1)式中:TP为被判为正类的正类(正确检测),FP为被判为正类的负类(错误检测),FN为被判为负类的正类。使用IoU设为0.5时的平均精度均值(mAP_0.5)、同IoU阈值(从0.5到0.95,步长0.05)的平均mAP(mAP_0.5:0.95)、精确率、召回率作为模型评价指标。平均精度(AP)表示 Precision-Recall 曲线下面积,对该图片每一类的平均精度求均值即得mAP,计算公式为:mAP=APN(2)式中:N为该图片不同类别的总和。5 实验结果与分析
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 YOLOv5 水果 品质 检测 分类 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。