基于Mask_R-CNN结合边缘分割的颗粒物图像检测_李轩.pdf
《基于Mask_R-CNN结合边缘分割的颗粒物图像检测_李轩.pdf》由会员分享,可在线阅读,更多相关《基于Mask_R-CNN结合边缘分割的颗粒物图像检测_李轩.pdf(11页珍藏版)》请在咨信网上搜索。
1、文章编号:1002-2082(2023)01-0093-11基于 MaskR-CNN 结合边缘分割的颗粒物图像检测李轩,杨舟,陶新宇,王晓杰,莫绪涛,黄仙山(安徽工业大学数理科学与工程学院,安徽马鞍山243002)摘摘 要:要:对颗粒物的尺寸检测是生产中重要的环节,使用相机采集图像并处理是常用的非接触检测方法。围绕颗粒物的识别与尺寸检测需求,选用沙粒为检测对象,提出了一种改进颗粒物边界掩膜的 MaskR-CNN 模型。该模型结合经典的边缘检测技术,并利用深度学习模型预测掩膜,根据边缘分割的结果来得到更高精度的掩膜。使用 DenseNet 作为检测网络的主干网络,使得整体网络参数量更少,并利用通
2、道注意力机制加强网络的特征提取能力。实验结果表明,改进的网络可以提高检测的精度,且结合图像处理的方式能够改善掩膜尺寸检测的准确度,为颗粒物的工业检测提供了一种有意义的方法。关键词:关键词:颗粒物检测;深度学习;图像分割;机器视觉;尺寸分布中图分类号:TN911.73;TP391.4文献标志码:ADOI:10.5768/JAO202344.0102005Particles image detection based on Mask R-CNN combined with edge segmentationLIXuan,YANGZhou,TAOXinyu,WANGXiaojie,MOXutao,H
3、UANGXianshan(SchoolofMathematicsandPhysics,AnhuiUniversityofTechnology,Maanshan243002,China)Abstract:Particlessizedetectionisanimportantlinkinproduction,andtheuseofcamerastocaptureandprocessimagesisacommonly-usednon-contactdetectionmethod.Tomeettherequirementsofidentificationandsizedetectionofpartic
4、les,thesandparticleswereselectedasthedetectionobject,andaMaskR-CNNmodel with the improved boundary mask of particles was proposed.Combined with the classical edgedetection technology,the deep learning model was used to predict the mask,and the mask with higherprecisionwasobtainedaccordingtotheresult
5、sofedgesegmentation.TheDenseNetwasusedasthebackbonenetworkofthenetworkdetectiontoreducethenumberofnetworkparameters,andthechannelattentionmechanismwasusedtostrengthenthefeatureextractionabilityofthenetwork.Theexperimentsshowthattheimprovednetworkcanimprovethedetectionaccuracy,andthecombinationofimag
6、eprocessingcanimprovetheaccuracyofmasksizedetection,whichprovidesameaningfulmethodforindustrialdetectionofparticles.Key words:particlesdetection;deeplearning;imagesegmentation;machinevision;sizedistribution引言随着国家对环保的重视,天然砂被限制开发,废弃矿石被应用在制砂中,机制砂被推广开来。在 GB/T14684-2011 中对机制砂有着尺寸的要求,在破碎矿石制砂过程中需要对砂石颗粒物的尺寸
7、进行检测,根据检测结果对加工过程进行指导。同样地,由于颗粒物为生产环节中一个重要的材料形态,因此在各种加工过程中需要对其尺寸、形状等方面进行监测,且对颗粒物的整体分布有具体范围的限制。对于颗粒物粒度的检测,现在已有多种检测仪器。使用图像粒度分析仪/激光粒度分析仪可得到样本颗粒的各种尺寸信息,其中最常用的是尺寸分布,根据尺寸分布可得到整个样本的情况。粒收稿日期:2022-01-22;修回日期:2022-03-30基金项目:国家自然科学基金(11975023);安徽省高校自然科学研究项目(KJ2020A0238,KJ2019A0049)作者简介:李轩(1997),男,硕士研究生,主要从事图像检测与
8、深度学习方面的研究。E-mail:通信作者:黄仙山(1974),男,博士,教授,主要从事图像识别与检测方面的研究。E-mail:H第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023度分析仪是使用相机对分散的颗粒物进行成像,对相互分散的颗粒能够较容易地判别其颗粒物的尺寸。这里常用图像处理的方法来检测目标物,通过边缘分割1、阈值分割2、图像分水岭3等方法进行处理;但传统图像处理方法对待检测物的形态、颜色等特征需要进行精确的设置才能达到较好的效果。随着计算机硬件与深度学习技术的发展,以分类与回归为基础的神经网络算法有着巨大的进步。语义
9、分割(semanticsegmentation)网络与目标检测(objectdetection)网络也被应用到颗粒物的检测上,相对于传统的图像分割算法具有更强的鲁棒性。语义分割4-5网络是对图像所有像素点进行分类,进而把目标物像素分割出来,但语义分割网络不能分割出同一类别的单个目标。目标检测网络是预测物体的位置和类别,可以分为基于候选区域的两阶段算法6-7和基于回归的单阶段算法8-9。在语义分割和目标检测的基础上,实例分割10可以找到每个物体的位置并且分割出物体的像素11-12。使用深度学习方法对颗粒物粒度的检测可以分为对尺寸的定性判断和定量计算。定性判断是对颗粒进行分类13,而在对粒度的定量
10、计算上,对颗粒物图像进行检测的深度学习算法可以分为两类:一类是利用语义分割网络,在颗粒物较为分散的情况下,使用语义分割14网络对图像进行预测,得到物体的预测掩膜;在颗粒物有部分接触堆叠的情况下,为了得到单个颗粒物的预测掩膜,需要对语义分割的结果进行后处理,对接触点的位置进行分离15,或者利用分水岭算法分割预测掩膜16。另一类是利用目标识别网络或者实例分割网络识别每个颗粒,利用网络的检测能力得到颗粒物的位置与类别信息17-18,然后对目标区域进行分割19。为了能够对沙粒等颗粒物图像进行准确的分割,本文提出改进掩膜的 MaskR-CNN 网络。在模型主体方面,使用 DenseNet20作为主干网络
11、,并利用通道注意力机制对 DenseNet 输出的特征层进行增强。在输出的预测掩膜上,由于图像中物体的边缘信息更加符合物体的轮廓,所以使用边缘分割结合网络的预测掩膜生成符合颗粒物边界的掩膜,能够更准确地得到颗粒物尺寸,为深度学习方法结合图像处理应用于物体检测提供了新思路。1 检测模型1.1 Mask R-CNN 模型在实例分割网络中,MaskR-CNN12网络是最常用到的网络之一,被应用到多个领域,且检测效果较好。MaskR-CNN 是一种基于区域提议的两阶段算法,在 FasterR-CNN6的基础上发展而来。该算法第 1 个阶段是使用区域提议网络(regionproposednetwork,
12、RPN),根据特征层生成提议区域;第 2 个阶段是利用提议区域在特征层上选取感兴趣区域(regionofinterest,RoI),根据 RoI 对应的特征层利用检测头进行分类与回归,得到物体最终的位置和分类信息;接着利用物体预测框对目标进行语义分割,最终得到物体掩膜,整体网络结构如图 1 所示。MaskR-CNN 网络的检测过程如下:首先将图像输入到主干(Backbone)网络,得到一组主干特征层。将不同的主干特征层进行上采样叠加,组成特征金字塔(featurepyramidnetwork,FPN)21放入 RPN 网络中;利用 RPN 进行初步物体的位置回归和分类,预测得到一系列提议区域;
13、利用RoIAlign 将对应特征层中的提议区域提取一组特征向量,根据特征向量对 RoI 进行分类和边框回归;调整后利用置信度阈值和非最大抑制进行筛选,得到最终预测框和分类;根据最终预测框对特征层进行裁切,利用语义分割网络生成预测掩膜。网络整体使用多任务输入输出,模型的整体损失 Lloss为Lloss=Lclass(RPN)+Lreg(RPN)+Lclass(RoI)+Lreg(RoI)+Lmask(RoI)(1)模型整体损失由 2 个部分组成,一部分是RPN 网络的损失,包含 Lclass(RPN)和 Lreg(RPN);另一部分是对候选区域进行具体分类、回归和掩膜预测的损失,包含 Lclas
14、s(RoI)、Lreg(RoI)和 Lmask(RoI)。损失具体计算如(2)式所示:Lclass=1Nclassilgqipi+(1qi)(1 pi)Lreg=1NregiqiSmoothL1(titi)SmoothL1(x)=0.5x2,|x|1|x|0.5,|x|1Lmask=1m2isilgsigmoid(xi)+(1si)lg1sigmoid(xi)(2)94应用光学第44卷第1期式中:Lclass为分类交叉熵损失;Nclass为分类归一化系数;Lclass(RPN)为二分类交叉熵损失;Lclass(RoI)为多分类交叉熵损失;pi表示框预测为正确目标的置信度;qi表示把对应区域分为
15、前景与背景,取值为 1(前景)或 0(背景);Lreg为回归损失函数;Nreg为回归归一化系数,Lreg(RPN)与 Lreg(ROI)形式一样;ti为预测的目标边界框的位置坐标;ti*为实际的目标边界框;Lmask为平均二值交叉熵损失函数;m 为 RoI 处理之后的长宽;xi为预测区域像素;si为像素对应分类的概率。1.2 主干网络的改进由于检测的沙粒一般具有形状不规则与尺寸小的特点,因此需要更多的低层特征进行判别。在 MaskR-CNN 中网络初始使用 ResNet(残差网络)作为主干网络,主要由两种模块组成,分别为调整网络尺寸维度的 Convbolck 与加深网络的Identityblo
16、ck。对于使用残差结构的网络,若输入为特征层 M,则输出为 N=Add(M0,M1),其中 M0可以是输入的特征层,也可以是经过浅层卷积的特征层;M1为经过多层卷积的特征层,用来增加网络深度。使用这种低层特征与高层特征相加的结构,可以在反向传播时使得参数调整更轻易地传播到低层网络中,以便更好地利用低层特征层。DenseNet15结构与 ResNet 结构类似,是卷积层之间的密集连接,网络特征传播效率更高,可以对每个特征层进行重复利用。DenseNet 由多个Denseblock 模块组成,网络中的 Denseblock 模块的输入为特征层 M,由 Mi层经过卷积得到 Mi+1层,则Denseb
17、lock 模块的输出为 N=Concatenate(M1,M2,Mi,Mn),其中 Mi为模块中第 i 层的输入,也是第i1 层的输出,如图 2(a)所示,为 4 个卷积组成的Denseblock 模块,其中 BN(batchnormalization)表示BackboneMaxPoolingFPNConvUpsamplingConvConvUpsamplingConvConvUpsamplingConvConvConvRPNConvReshapeConvReshapeSoftmaxClass,BoxRoIAlign4Conv+BN+ReluConvT+ReluConv+SigmoidMask
18、s2Conv+BN+ReluDense+ReluReshapeBoxesDense+ReluSoftmaxClasses输入图像检测结果显示图图 1 Mask R-CNN 结构Fig.1 Structure diagram of Mask R-CNNBN+Relu+ConvBN+Relu+ConvBN+Relu+ConvBN+Relu+Conv(a)(b)Featurte_mapFeaturte_mapSigmoidFCFCFCFCGlobalMaxPoolingGlobalAvgPooling图 2 DenseBlock 模块和通道注意力模块Fig.2 Structure diagram o
19、f Denseblock module and chan-nel attention module应用光学2023,44(1)李轩,等:基于 MaskR-CNN 结合边缘分割的颗粒物图像检测95批归一化,用于对输入数据进行优化;Relu(rectifiedlinearunits)为 激 活 函 数;Conv 为 二 维 卷 积,在Denseblock 模块中进行多次的卷积加深网络。通道注意力机制22-23是利用通道的全局信息对不同特征通道进行有选择地加强与抑制,来提高网络的特征表达能力,通道注意力机制如图 2(b)所示。由于 DenseNet 是把特征层进行通道之间的拼接操作,即是可以用通道注
20、意力机制对输出特征层进行选择,来加强有用特征层的响应。为了方便说明,下文称添加通道注意力机制的 DenseNet网络为 DenseAttention(DenseAtt)网络,网络整体结构如图 3(a)所示。DenseAttention(4Conv)DenseAttention(9Conv)DenseAttention(6Conv)DenseAttention(4Conv)Output_featurte_mapSigmoidBN+Relu+Conv+AveragePoolingInput_featurte_mapZeroPadding+Conv+BN+Relu+MaxPooling(a)(b)图
21、 3 DenseAttention 网络Fig.3 Structure diagram of DenseAttention network主干网络整体有 5 个输出的特征层,其中DenseAtt 网络具体的组成如图 3(b)所示。对于输入的特征层,首先通过 Denseblock 模块把不同卷积深度的特征层拼接到一起作为输出;对 Dense-block 模块输出的特征层使用卷积和平均池化调整特征层的输出维度;输出的特征层经过全局池化和全连接层可以得到一维的特征量,特征量与输入的特征层通道数相同;利用这组特征量对 Dense-block 模块输出的特征层进行相乘,即利用这组特征量的参数对不同特征层
22、进行加权计算,加权计算的结果作为 DenseAtt 模块的输出特征层。1.3 输出掩膜的改进语义分割网络输出的掩膜,通常是特征层网络分类预测得到的,分割精度与网络特征提取能力有关。在 MaskR-CNN 中是利用预测框对图像选取感兴趣区域,然后使用相应位置的特征层预测掩膜。由于网络在进行特征提取时会损失部分信息,这会导致网络预测的掩膜存在一定误差。对比之下,对图像直接进行处理可以得到较为符合物体边缘的信息,因此本文提出改进掩膜的 MaskR-CNN。根据以上分析,对 MaskR-CNN 推理之后的结果改进,主要是对输出的掩膜进行修改,使输出掩膜的边缘为实际颗粒物的边缘。改进的 MaskR-CN
23、N 网络架构如图 4 所示,在网络进行预测推理后,对掩膜进行处理。调整网络预测的物体框,如图4(a)所示,利用预测框得到RoI 如图4(b)所示;对RoI进行边缘检测,得到如图 4(c)所示的边缘分割线;利用这些边缘分割线把整个 RoI 区域分割成若干离散的区域,如图 4(d)所示为相互分离的候选掩膜;利用模型预测的掩膜(图 4(e))与候选掩膜进行求相交,当相交部分占候选掩膜整体的比例超过阈值时,表示该候选掩膜属于物体的一部分,选出所有占比大于阈值的候选掩膜,如图 4(f)所示;把被选出的候选掩膜进行组合,得到最终的掩膜,如图 4(g)。最终的输出掩膜是根据边缘检测得到的,并且利用网络预测的
24、掩膜进行选择,能够更准确地表示该物体的边界。在上述图像处理中,当图像纹理过于复杂或者与背景差异不大时,会使图像边界检测效果不佳,导致在后面根据相交选择候选掩膜时,出现半个区域或整个区域被选择的现象,在这种情况下,输出的掩膜为半个区域。为了避免这种错误输出,在输出时判断 RoI 中几个固定点的值,选择的点为中心点和 RoI 的 4 个角位置的点。通常状态下,中心点属于掩膜部分,而掩膜对应区域的 4 个角位置的点则不属于物体,根据这 5 个点的数值判断掩膜是否进行输出;当不符合条件时,使用原本模型预测的掩膜作为输出掩膜。大多数情况下模型使用改进的掩膜作为输出,只有在判断输出的掩膜进行出错时使用模型
25、预测的掩膜作为输出。本文方法利用了预测模型的鲁棒性以及图像处理的准确性,下文进行实验验证。2 实验测试2.1 数据采集与图像标注本研究使用河沙图像进行实验,利用筛网对河沙进行筛选泥土,把采集的沙粒放置平面进行拍96应用光学第44卷第1期摄。本研究使用一个 25921944 像素的彩色相机,使用的镜头为 25mm 焦距的定焦镜头,使用穹顶光源作为照明光源,拍摄示意图如图 5 所示。在这里使用 3mm 的棋盘格标定板对相机进行标定,经过计算得到的像素当量为 k=0.03324mm/pixel,根据像素当量可以计算像素尺寸与实际尺寸的关系。沙粒相对于其他颗粒的不同之处在于其形状不规则,并且整体的颜色
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Mask_R CNN 结合 边缘 分割 颗粒 图像 检测 李轩
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。