基于卷积神经网络的油茶害虫生态识别_梁秀豪.pdf

基于卷积神经网络的油茶害虫生态识别DOI:10.19692/j.issn.1006-1126.20230313摘要：害虫是影响油茶（Camellia spp.）产量的主要因素之一，对其进行准确识别有助于及时防控，减少损失。目前，油茶害虫识别研究缺少相关的数据集，限制了深度学习技术在油茶害虫识别中的应用。为给在生态环境下准确识别油茶害虫提供1种新范式，构建包含1 116张7类害虫的油茶害虫识别图像数据集，采用4种目标检测算法（SSD、YOLOv3、YOLOX和 RetinaNet）在该数据集上进行试验。结果表明，IOU 阈值为 0.5 时，SSD 的平均精度为 93.50%，YOLOX 为 93.50%，RetinaNet为86.80%，YOLOv3为96.60%；SSD的平均召回率为73.20%，YOLOX为75.10%，RetinaNet为78.00%，YOLOv3为76.80%。综合分析，YOLOv3的检测和分类能力最优。关键词：害虫识别；目标检测算法；油茶中图分类号：S794.4文献标识码：A收稿日期：2023-03-16基金项目：广西林业科技推广示范项目（桂林科研2022第17号）；中国东盟（华为）人工智能创新中心补贴项目（桂数发202220-1-14）第一作者：梁秀豪（1997），男，硕士，主要从事林业人工智能研究。通信作者：韦维（1982），男，正高级工程师，主要从事林业信息化研究；王国全（1974），男，教授，主要从事昆虫分类研究。梁秀豪1，杨丽萍1，廖旺姣1，黄丽芸1，陈健武1，阳文林1，蒙芳1，黄超航2，韦维1，王国全3（1.广西壮族自治区林业科学研究院广西特色经济林培育与利用重点实验室广西林业有害生物天敌繁育工程技术研究中心，广西南宁530002；2.浙江师范大学，浙江金华321004；3.广西大学农学院，广西南宁530004）Ecological Identification of Camellia spp.Pests Based onConvolutional Neural NetworksLiang Xiuhao1,Yang Liping1,Liao Wangjiao1,Huang Liyun1,Chen Jianwu1,Yang Wenlin1,Meng Fang1,Huang Chaohang2,Wei Wei1,Wang Guoquan3(1.Guangxi Forestry Research Institute,Guangxi Key Laboratory of Special Non-wood Forests Cultivation and Utilization,GuangxiForest Pests Natural Enemies Breeding Research Center of Engineering Technology,Nanning,Guangxi 530002,China;2.ZhejiangNormal University,Jinhua,Zhejiang 321004,China;3.College of Agriculture,Guangxi University,Nanning,Guangxi 530004,China)Abstract:Pests are one of the most significant factors affecting yields of Camellia spp.,and accurate identification of pests is helpful to control timely and reduce losses.However,relevant datasets were lacked in identification researches of Camellia spp.pests,which limited application of deep learning technology.To provide a newmodel for accurate identification of Camellia spp.pests in ecological environment,a Camellia spp.pests recognition dataset was constructed,which contained 1 116 images of 7 classes of pests.Object detection algorithmsSSD,YOLOv3,YOLOX and RetinaNet were experimented based on the dataset.Results showed that when IOUthreshold was 0.5,average accuracy of SSD was 93.50%,YOLOX was 93.50%,RetinaNet was 86.80%,and YOLOv3 was 96.60%;average recall of SSD was 73.20%,YOLOX was 75.10%,RetinaNet was 78.00%,and YOLOv3 was 76.80%.YOLOv3 had the best abilities of detection and classification by comprehensive analysis.Key words:identification of pests;object detection algorithm;Camellia spp.第52卷第3期2023年 6 月广西林业科学Guangxi Forestry ScienceVol.52No.3Jun.2023广西林业科学第 52 卷油茶（Camellia spp.）是我国南方重要的木本食用油料植物，1次种植多年受益，具有良好的经济、生态和社会效益。近年来，随着油茶种植面积增加，有害生物灾害频发，油茶果质量和产量受到一定程度影响。传统油茶有害生物辨识主要依赖人工识别，由于熟悉油茶病虫害的森保专家和技术人员缺口较大，常因未能及时准确判断病虫害种类并采取相应防治措施造成损失，油茶害虫快速识别成为油茶生产的迫切需求1-2。及时准确识别害虫是林木有害生物种群动态监测和科学防控的关键3-4。随着计算机技术飞速发展，研究人员尝试通过图像处理、模式识别和机器学习等方法自动识别病虫害。管泽鑫等5采用贝叶斯判别法和图像处理技术对水稻（Oryza sativa）稻瘟病、纹枯病和白叶枯病 3 种病害进行识别。马超等6将方向梯度直方图特征与支持向量机方法结合，提出1种水稻病害检测方法，对5种水稻病害进行识别。李冠林等7结合传统图像处理方法、K-means聚类算法和支持向量机方法，提出1种小麦（Triticum aestivum）叶锈病和条锈病图像分类方法。李震等8结合图像处理方法 Sobel边缘检测算子和 K-means 聚类算法，对红蜘蛛（Tetranychuscinnbarinus）进行识别。朱莉等9引入GrabCut算法，设计1种基于颜色特征的害虫视觉识别方法，对菜蝽（Eurydema dominulus）、菜青虫（Pieris rapae）、猿叶甲、跳甲及蚜虫种油菜（Brassica napus）害虫进行识别。随 着 图 形 处 理 器（Graphics processing unit，GPU）的快速发展和卷积神经网络的兴起，卷积神经网络在图像分类与识别中取得了一定突破。卷积神经网络 AlexNet10和 GoogLeNet11在 ILSVRC 图像分类比赛中将分类错误率分别降低至 16.4%和6.67%。基于卷积神经网络的图像识别技术迎来了飞跃式发展，国内外学者开展了基于卷积网络的农林害虫图像识别应用研究。石新丽等12结合图像处理技术、模式识别和目标检测算法YOLO对5类玉米（Zea mays）害虫进行识别，其识别和分类效果均较好。类成敏等13提出1种多尺度注意力残差网络对4种桃（Prunus persica）树害虫进行识别，该方法识别准确率为93.27%。刘裕等14设计了1种基于多尺度双路注意力胶囊网络的水稻害虫识别方法，在数据集 IP102 上进行验证，识别准确率达到 95.31%。彭红星等15设计了1种农作物害虫识别模型，在自建害虫数据集上进行试验，其识别率为79.49%。董伟等16构建了蔬菜害虫分类识别数据集和检测计数数据集，设计基于深度卷积神经网络的识别模型和检测计数模型，平均识别率为94.50%，均值平均精度为 76.60%。王洪磊17采用目标检测算法 YOLOv5s识别15种林业害虫及其不同的生理状态，准确率较高。目前，害虫识别研究主要集中在水稻、蔬菜、玉米和竹子等作物上，油茶害虫识别和检测的研究相对滞后。谢林波等18引入图像处理方法和机器学习方法，基于BoW模型进行油茶害虫图像识别，并对油茶害虫进行分类，其数据集的种类仅有尺蠖、叶蜂和毒蛾 3种。油茶害虫识别研究缺少多种类和数量的害虫数据集。本研究构建1个包含7类害虫的油茶害虫识别数据集，使用目标检测算法SSD、YOLOv3、YOLOX和RetinaNet对油茶害虫进行识别，以期获得1种生态环境下准确识别油茶害虫的新范式。1材料与方法1.1数据集本研究的数据于正常光照下在广西壮族自治区内各油茶产区采集，由森保专家进行分类。所有图像均采用单反相机与微距镜头组合（佳能5Dmark系列+EF 100mm f2.8L IS、奥林巴斯E-M5 MarkII+ED 60mm F2.8 Macro等）或手机微距在野外拍摄，该数据集为野外生态数据集。数据集包括7类油茶害虫图像，分别为丽盾蝽（Chrysocoris grandis）、油茶宽盾蝽（Poecilocoris latus）、白蛾蜡蝉（Lawana imitata）、眼纹疏广蜡蝉（Euricania ocellus）、碧蛾蜡蝉（Geishadistinctissima）、褐缘蛾蜡蝉（Salurnis marginella）和黑尾大叶蝉（Bothrogonia ferruginea），每类油茶害虫的图像数量分别为 105、157、129、270、186、169 和100张，共计1 116张。数据集的图像包含1类1个害虫、1 类多个害虫或多类多个害虫。使用 LabelImg进行标注，数据保存为PASCAL VOC格式。进行害虫目标识别时，将图像分为丽盾蝽、油茶宽盾蝽、白蛾蜡蝉、眼纹疏广蜡蝉、碧蛾蜡蝉、褐缘蛾蜡蝉、黑尾大叶蝉及背景8类进行标签制作；除害虫目标外，图像的其他部分自动标注为背景。按7 3的比例随机划分训练集和测试集。各类油茶害虫训练集和测试集包含的图像数量见表1；油茶害虫图像如图1所示。1.2方法采用目标检测算法SSD19、YOLOv320、YOLOX21和RetinaNet22在构建的油茶害虫数据集上进行验证，这些目标检测算法均为基于深度学习的回归方法，均属于一阶段目标检测。SSD的核心设计理念为采用多尺度特征图用于检测，采用卷积提取检测362第 3 期梁秀豪，杨丽萍，廖旺姣，等：基于卷积神经网络的油茶害虫生态识别结果（YOLO采用全连接层提取检测结果）；SSD借鉴Faster R-CNN中锚（Anchor）的理念，每个单元设置尺度或长宽比不同的先验框，预测的边界框以这些先验框为基准，可一定程度上减少训练难度。本研究采用ResNet34作为SSD的主干网络，损失函数为位置误差和置信度误差的加权和。YOLOv3注重整体网络核心架构的提升，主干网络从 YOLOv223的 DarkNet-19 上升至 DarkNet-53，其网络特征提取能力提高，分类能力增强；利用FPN，采用多尺度特征图对不同大小的目标进行检测；采用多标签的方式代替 YOLO 和 YOLOv2 的Softmax单标签方式，损失函数为位置误差、置信度误差和分类误差的加权和。与YOLO和YOLOv2相比，YOLOv3更适用于小目标检测，特征的提取和融合更充分和细致，可预测不同规格物体。YOLOX在主干网络中加入Fcous结构，将图片宽高信息缩小，减少参数量，提升网络计算速度；主干网络使用CSP结构，将特征图分为两部分，一部分利用残差结构提取更多特征，最后进行信息融合；主干网络的倒数第二层加入空间金字塔池化（SPP）增大网络感受野；特征提取层利用FPN提取多尺度特征，使其对不同尺度的目标有更好的检测效果；主干网络中的损失函数采用Silu激活函数，该激活函数比Rule函数非线性能力更强，可解决Rule函数类别 Category丽盾蝽 Chrysocoris grandis油茶宽盾蝽 Poecilocoris latus白蛾蜡蝉 Lawana imitata眼纹疏广蜡蝉 Euricania ocellus碧蛾蜡蝉 Geisha distinctissima褐缘蛾蜡蝉 Salurnis marginella黑尾大叶蝉 Bothrogonia ferruginea训练集 Training set7310990189130118100测试集 Test set32483981565130表1数据集中油茶害虫种类和图像数量Tab.1Species and image number of Camellia spp.pests in datasetabcdefg图1油茶害虫图像Fig.1ImagesofCamelliaspp.pestsa：白蛾蜡蝉；b：碧蛾蜡蝉；c：褐缘蛾蜡蝉；d：黑尾大叶蝉；e：眼纹疏广蜡蝉；f：油茶宽盾蝽；g：丽盾蝽。a:Lawanaimitata;b:Geisha distinctissima;c:Salurnis marginella;d:Bothrogonia ferruginea;e:Euricania ocellus;f:Poecilocoris latus;g:Chrysocoris grandis.363广西林业科学第 52 卷中负数输入输出为0时发生梯度弥散的缺点；使用SimOTA动态样本匹配，更好地让网络在训练过程中拟合Ground truth，提高目标定位的能力；损失函数为位置误差、置信度误差和分类误差的加权和。RetinaNet为解决极度不均衡的正负（前/背景）样本比例问题，设计了1种损失函数Focal loss（提出时间为2018年），其主干网络采用ResNet50。1.3试验平台与评估指标本研究中的模型训练和测试均在同一环境下运行，硬件配置为 Intel(R)Xeon(R)Silver 4210 CPU 2.20GHz，GPU 为 NVIDIA Tesla P4，32 G 运行内存，PaddlePaddle 深度学习框架。选择平均精度（Average precision，AP）和召回率（Recall）作为试验的评估指标，综合性地评估油茶害虫识别算法的性能；其中，AP（%）为Precision recall（PR）曲线下方的面积，计算各类别的平均正确率，用于比较不同目标检测器的性能；Recall（%）为被正确检测出的正样本个数与测试集中所有正样本个数的比值，反映目标检测器的检测能力，计算公式为：Recall=TPTP+FN 100%式中，TP（True positive）为样本检测为正样本的数量；FN（False negative）为样本检测为负样本的数量。2结果与分析本研究基于目标检测算法 SSD、YOLOX、YOLOv3和RetinaNet实现油茶害虫检测，使用1.1中的的油茶害虫训练集依次对网络进行训练，得到最优模型；最后采用测试集对最优模型进行验证，通过AP和Recall比较4种目标检测算法性能，验证算法有 效 性。采 用 PaddleDetection（https:/ 基 线，SSD、YOLOX、YOLOv3和RetinaNet的训练迭代次数均设为300；SSD和YOLOX的初始学习率均设为0.001，YOLOv3和RetinaNet均设为0.000 1。SSD、YOLOX、YOLOv3和RetinaNet的最优模型AP 评估结果见表 2。AP 表示平均精度；AP50表示IOU阈值为0.5时的平均精度；AP75表示IOU阈值为0.75时的平均精度；APS表示识别小型目标时的平均精度；APM表示识别中型目标时的平均精度；APL表示识别大型目标时的平均精度。YOLOv3的APM略差于 SSD 和 YOLOX，其他评估指标均优于 SSD、YOLOX和RetinaNet。总的来说，YOLOv3识别目标的 能 力 优 于 SSD、YOLOX 和 RetinaNet；SSD 和YOLOX 识别中型目标的能力优于 YOLOv3。根据目标面积评定，即小目标 962，数据集中害虫均为中型和大型目标，无小目标，所以APS为-100%。SSD、YOLOX、YOLOv3和RetinaNet的最优模型平均召回率（Average recall，AR）评估结果见表 3。AR为所有正例中被分类正确的比例，可衡量分类器对正例的识别能力（本研究中正例为害虫目标，负例为背景）；ARS表示检测小型目标时的平均召回率；ARM表示检测中型目标时的平均召回率；ARL表示检测大型目标时的平均召回率。除ARM外，RetinaNet各评估指标均最优，YOLOv3次之。与表2一致，ARS为-100%。总的来说，RetinaNet检测目标的能力优于 SSD、YOLOX 和 YOLOv3。RetinaNet 和YOLOv3均取得不错的试验结果（图2）。3结论本研究构建了1个包括7类油茶害虫的数据集用于油茶害虫识别研究。基于该数据集，采用目标方法 MethodSSDYOLOXRetinaNetYOLOv3AP66.9067.6068.0072.80AP5093.5093.5086.8096.60AP7580.5080.5079.0088.60APM54.4059.2052.8053.80APL68.7068.6069.4074.50方法 MethodSSDYOLOXRetinaNetYOLOv3AR73.2075.1078.0076.80ARM58.3064.8057.7056.80ARL74.7076.2079.9078.50表2SSD、YOLOX、RetinaNet和YOLOv3的ARTab.2AP of SSD,YOLOX,RetinaNet and YOLOv3(%)表3SSD、YOLOX、RetinaNet和YOLOv3的ARTab.3AR of SSD,YOLOX,RetinaNet and YOLOv3(%)364第 3 期梁秀豪，杨丽萍，廖旺姣，等：基于卷积神经网络的油茶害虫生态识别检测算法SSD、YOLOX、YOLOv3和RetinaNet实现油茶害虫检测。试验结果表明，IOU 阈值为 0.5 时，SSD 在油茶害虫数据集中的平均精度为 93.50%，YOLOX 为 93.50%，RetinaNet 为 86.80%，YOLOv3 为96.60%；SSD 的平均召回率为 73.20%，YOLOX 为75.10%，RetinaNet 为 78.00%，YOLOv3 为 76.80%。YOLOv3油茶害虫识别能力最好，因为YOLOv3提出了Darknet53，可提升网络特征提取能力，提高分类能力；RetinaNet检测目标能力最好，因为RetinaNet通过Focal loss处理正负样本不均衡的问题，提升检测率。YOLOv3 的平均召回率与 RetinaNet 差距不大，但其识别精度明显高于RetinaNet，建议采用YOLOv3 作为油茶害虫识别算法。油茶害虫种类繁多1-2，24，在后续的研究中，可继续扩展油茶害虫数据集，采用更多算法实现更精确的害虫目标定位和目标识别。SSDYOLOXRetinaNetYOLOv3图2SSD、YOLOX、RetinaNet和YOLOv3的试验结果Fig.2Experimental results of SSD,YOLOX,RetinaNet and YOLOv3365广西林业科学第 52 卷利益冲突：所有作者声明无利益冲突。作者贡献声明：梁秀豪主要负责试验实施、算法研究、文献检索及论文撰写；韦维和王国全负责试验设计、数据采集；杨丽萍负责论文修改；廖旺姣负责害虫鉴定；黄丽芸、陈健武、阳文林、蒙芳和黄超航负责数据标注。参考文献：1邓艳，李德伟，蒋学建，等.广西油茶病虫害种类调查及发生特点 J.广西林业科学,2013，42（4）：339-346.2李密，周刚，李海鹏，等.湖南省油茶害虫名录与区系及主要害虫地理分布 J.湖南林业科技，2013，40（4）：60-64.3杨红珍，张建伟，李湘涛，等.基于图像的昆虫远程自动识别系统的研究J.农业工程学报，2008，24（1）：188-192.4庞海通，蔡卫明，马龙华，等.基于深度学习的害虫识别技术综述 J.农业工程，2020，10（10）：19-24.5管泽鑫，唐健，杨保军，等.基于图像的水稻病害识别方法研究 J.中国水稻科学，2010，24（5）：497-502.6马超，袁涛，姚鑫锋，等.基于HOG+SVM的田间水稻病害图像识别方法研究 J.上海农业学报，2019，35（5）：131-136.7 李冠林，马占鸿，王海光.基于支持向量机的小麦条锈病和叶锈病图像识别 J.中国农业大学学报，2012，17（2）：72-79.8 李震，洪添胜，曾祥业，等.基于K-means聚类的柑橘红蜘蛛图像目标识别 J.农业工程学报，2012，28（23）：147-153.9朱莉，罗靖，徐胜勇，等.基于颜色特征的油菜害虫机器视觉诊断研究J.农机化研究，2016，38（6）：55-58.10 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNetclassification with deep convolutional neural networksJ.Communications of the ACM,2017,60(6):84-90.11 SZEGEDY C,LIU W,JIA Y Q,et al.Going deeper withconvolutionsC /IEEE Computer Society.2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:Institute of Electrical and Electronics Engineers,2015:1-9.12 石新丽，赵墨然，李海川，等.基于图像处理的玉米害虫种类识别系统研究 J.农业与技术，2021，41（12）：28-31.13 类成敏，牟少敏，孙文杰，等.基于多尺度注意力残差网络的桃树害虫图像识别 J.山东农业大学学报（自然科学版），2022，53（2）：253-258.14 刘裕，赵保平，张述嘉，等.基于多尺度双路注意力胶囊网络在水稻害虫识别中的应用 J.西南农业学报，2022，35（7）：1573-1581.15 彭红星，徐慧明，刘华鼐.基于改进ShuffleNet V2的轻量化农作物害虫识别模型 J.农业工程学报，2022，38（11）：161-170.16 董伟，钱蓉，张洁，等.基于深度学习的蔬菜鳞翅目害虫自动识别与检测计数 J.中国农业科技导报，2019，21（12）：76-84.17 王洪磊.基于目标检测技术的林业害虫智能识别检测方法 J.林业科技通讯，2022（7）：20-23.18 谢林波，余绍军，周国英，等.基于BoW模型的油茶害虫图像分类 J.中南林业科技大学学报，2015，35（5）：70-73.19 LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shotmultiBox detector C/LEIBE B,MATAS J,SEBE N,et al.Computer Vision-ECCV 2016:Part 1.Amsterdam:Springer,2016:21-37.20 REDMON J,FARHADI A.YOLOv3:an incremental improvement J/OL.arXiv preprint arXiv,2018:1-62023-02-10.https:/doi.org/10.48550/arXiv.1804.02767.21 GE Z,LIU S,WANG F,et al.YOLOX:exceeding YOLOseries in 2021J/OL.arXiv preprint arXiv,2021:1-72023-02-10.https:/doi.org/10.48550arXiv.2107.08430.22 LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss fordense object detectionJ.IEEE Transactions on PatternAnalysis and Machine Intelligence,2020,42(2):318-327.23 REDMON J,FARHADI A.YOLO9000:better,faster,strongerC/IEEE Computer Society.2017 IEEE Conference onComputer Vision and Pattern Recognition.Honolulu:Instituteof Electrical and Electronics Engineers,2017:6517-6525.24 何学友，熊瑜，蔡守平，等.油茶害虫名录 J.武夷科学，2010，26：11-30.366