基于改进EfficientNet的木材识别研究.pdf
《基于改进EfficientNet的木材识别研究.pdf》由会员分享,可在线阅读,更多相关《基于改进EfficientNet的木材识别研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 39 卷 第 4 期2023 年 7 月森 林 工 程FOREST ENGINEERINGVol.39 No.4Jul.,2023doi:10.3969/j.issn.1006-8023.2023.04.011基于改进 EfficientNet 的木材识别研究戴天虹,翟冰(东北林业大学 机电工程学院,哈尔滨 150040)摘 要:木材是一种常见的可再生资源,不同品种的木材有着不同的用途和商业价值。传统的木材分类工作主要依靠人工完成,工作效率较低。为提高木材识别效率,提出一种基于改进 EfficientNet 的木材识别方法。该方法以 EfficientNet 作为基准模型,采用大核注意力模
2、块代替部分移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution,MBConv)模块中的压缩激励网络(squeeze-and-excitation networks,SENet),联合 2 种注意力机制使网络能更有效地提取木材细粒度信息。训练过程中引入渐进式学习策略,采用不同尺寸大小的图像和不同丢弃概率的 Dropout 层进行训练,进一步提升模型训练速度和识别准确率。试验结果表明,改进后的 EfficientNet 模型识别准确率达到 99.83%,相比于未改进的 EfficientNet 模型提高了 0.49%,且模型参数仅 6.16 MB。该研究的
3、模型能够很好地识别木材种类,为移动端部署木材种类识别模型提供参考。关键词:木材识别;EfficientNet;大核注意力;细粒度信息;渐进式学习中图分类号:TP391.4 文献标识码:A 文章编号:1006-8023(2023)04-0093-08 Wood Recognition Research Based on Improved EfficientNetDAI Tianhong,ZHAI Bing(College of Mechanical and Electrical Engineering,Northeast Forestry University,Harbin 150040,Chi
4、na)Abstract:Wood is a common renewable resource.Different kinds of wood have different uses and commercial values.The tradi-tional wood classification work mainly depends on manual work,and the work efficiency is low.In order to improve the efficiency of wood recognition,a wood recognition method ba
5、sed on improved EfficientNet is proposed.In this method,EfficientNet is used as the benchmark model,and the large kernel attention module is used to replace part of squeeze-and-excitation networks(SENet)in Mobile Inverted Bottleneck Convolution(MBconv),and combines the two attention mechanisms to en
6、able the network to extract wood fine grain information more effectively.Progressive learning strategy is introduced in the training process,and images of different sizes and Dropout layers with different discarding probabilities are used for training,which further improves the training speed and re
7、cognition ac-curacy of the model.The experimental results show that the recognition accuracy of the improved EfficientNet model can reach 99.83%,which is 0.49%higher than that of the unimproved EfficientNet model,and the model parameters are only 6.16 MB.The proposed model can identify wood species
8、well,and can provide reference for the deployment of wood species identification model in mobile terminal.Keywords:Wood recognition;EfficientNet;large kernel attention;fine-grained information;progressive learning收稿日期:2022-10-22基金项目:中央高校基本科研业务费专项资金资助(2572019CP17);黑龙江省自然科学基金项目(C201414);哈尔滨市科技创新人才项目(2
9、014RFXXJ086)第一作者简介:戴天虹,教授,硕士生导师。研究方向为木材缺陷检测、图像处理、无线传感器网络路由协议及汇聚节点选址算法等。E-mail:th_2000 引文格式:戴天虹,翟冰.基于改进 EfficientNet 的木材识别研究J.森林工程,2023,39(4):93-100.DAI T H,ZHAI B.Wood recognition research based on im-proved EfficientNetJ.Forest Engineering,2023,39(4):93-100.0 引言木材是社会生产活动中重要的物质材料,与人们的生活息息相关。不同种类的木材具
10、有不同的理化性质,从而导致其用途和商业价值各不相同。正确地识别木材类别,对于木材合理利用、质量评定和公平论价等都具有重要意义1。早期的木材分类工作主要依靠人工根据木材物理性质的直观表征,通过观察对比完成,这需要一定的专业经验知识,且容易出现误判,其效率较低。随着计算机视觉技术的发展,木材种类自动识别技术主要包括 2 类方法,一类是基于传统的机器学习的识别方法,另一类是基于深度学习的识别方法。基于传统的机器学习的识别方法需要人工提取图像特征,例如颜色和纹理等,再运用机器学习的方法进行识别。Wang 等2采用灰度共生矩阵(Grey Level Co-occurrence Matrix,GLCM)进
11、行特征森 林 工 程第 39 卷提取,通过支持向量机(Support Vector Machine,SVM)实现分类,在 24 种木材的 480 个样本的数据采集达到了 91.7%的识别准确率。戴天虹等3利用 RGB 图像中 3 个颜色分量的颜色矩信息以及图片的均值和方差构建了 11 个特征向量对图像进行处理和分级。王克奇等4将图像从 RGB 空间转换到 Lab颜色空间,并利用模拟退火算法进行特征选择,最后结合 BP(Back Propagation)神经网络和 K 最近邻(K-Nearest Neighbor,KNN)2 种分类方法实现木材分类。Sugiarto 等5利用方向梯度直方图(Hi
12、stogram of Oriented Gradient,HOG)提取木材的纹理,然后采用支持向量机进行识别。赵鹏等6对高光谱图像进行降维处理并采用非下采样轮廓波 变 换(Nonsub Sampled Contourlet Transform,NSCT)实现图像融合,再对融合图像使用改进的基本灰度光环矩阵(Improved-Basic Gray Level Aura Matrix,I-BGLAM)提取其纹理特征,同时将高光谱图像的全波段求均并进行光滑处理得到光谱特征,最后融合纹理特征和光谱特征并利用极限学习机(Extreme Learning Machine,ELM)实现分类。传统的机器学习方
13、法在特征提取阶段效率较低,并且所提取的特征相对于样本数据的代表性将直接影响最终识别的效果。近年来,深度学习发展非常迅速,卷积神经网络(Convolutional Neural Networks,CNN)作为深度学习的重要组成部分,其显著的特征提取性能使他受到广泛关注7-12。Gao 等13提出一种结合卷积神经网络和注意力机制的模型对木材缺陷进行分类。Yang 等14采用在 ImageNet 预训练过的 VGG19 对 25 种木材进行特征提取和分类,识别准确率达到 93.63%。Liu 等15提出一种基于分割混洗残差(Split-Shuffle-Residual,SSR)的CNN,利用 SSR
14、 模块在通道维度进行分割和洗牌操作,并通过与残差结构相结合减少了计算消耗成本,对橡胶木板的分类准确率达到了 94.86%。综上,为进一步提高木材图像识别准确率和速度,本研究提出一种基于改进 EfficientNet 的木材识别方法,通过消融试验证明该方法的有效性,为未来更高效地开展木材识别工作以及移动端设备的模型部署提供技术与方法。1 改进的 EfficientNet 模型1.1 EfficientNet 模型以往的卷积神经网络模型通常通过调整图像输入分辨率、网络的深度和通道宽度 3 个参数中的一个来优化模型性能,而这种优化方法需要手动调整网络模型,这使得网络设计的难度增大,且需要消耗更多的资
15、源成本。Tan 等16提出了一种复合缩放方法对网络的宽度、深度和分辨率进行统一缩放调整,复合缩放公式如式(1)所示。depth:d=width:w=resolution:r=s.t.22 2 1,1,1。(1)式中:d、w、r 分别表示网络的深度、宽度和输入图像的分辨率;表示复合缩放系数;、表示对应的缩放基数。通过固定=1,并基于式(1)中的限制条件,利用网格搜索得到=1.2,=1.1,=1.15,至此得到EfficientNetB0 模型。以 EfficientNetB0 为基线模型,即固定、的值,对 取不同的值便可得到 Ef-ficientNetB1B7。因此,EfficientNet 共
16、包括 8 个系列网络,即 EfficientNetB0B7,而 EfficientNetB0 作为基线模型他的参数量最小,运行速度最快,因此本研究选择 EfficientNetB0 为基准模型进行改进。EfficientNetB0 模型的结构如图 1 所示,由 2 个卷积层、16 个移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution,MBConv)模块、1 个全局平均池化层和 1 个全连接层(Fully Connected Layers,FC)组成。其中,输入图像的尺寸大小为 2242243,首先通过 Conv33 进行升维操作得到 11211232
17、 的特征图,然后利用一系列 MBConv 模块对特征图进行运算处理得到 77320 的特征图,最后利用Conv11、平均池化和全连接层实现输出结果。MBConv 模块结构如图 2 所示,主要由普通卷积、深度卷积(Depthwise Convolution)(包括 BN 和Swish)、SE(Squeeze-and-Excitation)模块和 Dropout层组成。其中深度卷积是逐通道的卷积运算,即1 个卷积核负责 1 个通道。而 11 的普通卷积也称为逐点卷积,可以在通道维度上对深度卷积产生的特征图进行加权运算,两者结合可有效降低模型的计算量与参数量。SE 模块是一种注意力机制,可获取不同通
18、道的权重,通过权重与原始特征相乘得到加权后的输出特征,有助于模型在通道维度上对重要的特征信息产生更多的关注。49第 4 期戴天虹,等:基于改进 EfficientNet 的木材识别研究282840282880282880Stage?1Stage?2Stage?3Stage?4Stage?4Stage?5Stage?5Stage?5Stage?5Stage?6Stage?6Stage?6Stage?7Stage?7Stage?7Stage?7Stage?8Stage?9Stage?9224224311211232112112165656245656242828402828802828801414
19、112141411214141127719277192771927719277320771?280Conv?33MBConv1?33MBConv6?33MBConv6?33MBConv6?55MBConv6?55MBConv6?33MBConv6?33MBConv6?33MBConv6?55MBConv6?55MBConv6?55MBConv6?55MBConv6?55MBConv6?55MBConv6?55MBConv6?33Conv?11Pooling?&?FC图 1 EfficientNetB0 模型Fig.1 EfficientNetB0 model输入特征图BNSwishBNSwis
20、hSwishSigmoidSENetBNFC1Conv?11FC2Conv?11DropoutGlobalAveragePoolingDepthwiseConv?33输出特征图图 2 MBConv 模块Fig.2 MBConv module1.2 模型改进近年来,注意力机制在计算机视觉中发挥着越来越重要的作用,可以看作是一个基于输入特征的自适应选择过程。计算机视觉中的注意力可分为通道注意力、空间注意力、时间注意力和分支注意力 4 个基本类别17,不同的注意力在视觉任务中有着不同的效果。除此之外,自注意机制18-19是另外一种特殊的注意力机制,起源于自然语言处理(Nat-ural Languag
21、e Processing,NLP),由于其拥有捕获长距离依赖关系和自适应性的优点,逐渐在计算机视觉领域得到了广泛应用。大核注意力(Large Kernel Attention,LKA)20具有卷积操作和自注意力机制的优势,既兼顾了局部上下文信息和长距离依赖关系,又避免了自注意力机制忽略通道维度的适应性等缺点。大核注意力由 3 个部分组成:深度卷积、深度膨胀卷积(Depth-wise dilation convolution)和逐点卷积(Pointwise con-volution)。具体地说,1 个 KK 的卷积可以分解为1 个K/dK/d的深度膨胀卷积(d 为膨胀率,表示向上取整),1 个(
22、2d-1)(2d-1)的深度卷积和 1 个 11 的普通卷积,因此连接上述分解后的模块便可组成大核注意力模块。特征图通过大核注意力模块可以计算 1 个像素点的重要性并生成注意力图。LKA 模块结构如图 3 所示。DepthwiseConvDepthwiseDilationConvConv11图 3 大核注意力模块Fig.3 Large kernel attention moduleLKA 模块可以描述为下式Attention=Conv11(DW-D-Conv(DW-Conv(F)。(2)Output=AttentionF。(3)式中:DW-D-Conv 表示深度膨胀卷积;DW-Conv 表示深
23、度卷积;F RCHW表示输入特征图,C 为通道个数,H 为高度,W 为宽度;AttentionRCHW是注意力图,注意力图中的值表示每个特征元素的重要性表示元素相乘。LKA 能兼顾长距离依赖关系和局部上下文信息的同时实现通道维度的适应性,进一步优化模型性能。使用 LKA 模块代替 SE 模块得到改进后的LKA-MBConv 模块,其结构如图 4 所示(试验中 K=59森 林 工 程第 39 卷21,d=3)。由于 LKA 模块的参数量相比于 SE 模块较多且 2 种注意力机制各有其特点,因此不明显增加模型参数量以及联合 2 种注意力机制的作用使模型可以更有效地提取图像中的细粒度信息,仅针对含有
24、 MBConv 模块的阶段(Stage)中的第一个MBConv 模块采用 LKA-MBConv 模块代替,最终改进后的 EfficientNetB0 如图 5 所示。BNSwishBNSwishDepthwiseDilate?Conv77Dilation=3LKABNConv?11Conv?11DropoutDepthwiseConv?55DepthwiseConv?33输出特征图Conv?11图 4 改进后的 LKA-MBConv 模块Fig.4 Improved LKA-MBConv module282840282880282880Stage?1Stage?2Stage?3Stage?4S
25、tage?4Stage?5Stage?5Stage?5Stage?5Stage?6Stage?6Stage?6Stage?7Stage?7Stage?7Stage?7Stage?8Stage?9Stage?9224224311211232112112165656245656242828402828801414112141411214141127719277192771927719277320771?280Conv?33LKA-MBConv1?33MBConv6?33MBConv6?55MBConv6?33MBConv6?33MBConv6?55MBConv6?55MBConv6?55MBCon
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 EfficientNet 木材 识别 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。