基于可变形卷积融合双注意力机制的缺陷检测方法.pdf
《基于可变形卷积融合双注意力机制的缺陷检测方法.pdf》由会员分享,可在线阅读,更多相关《基于可变形卷积融合双注意力机制的缺陷检测方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 卷第期东 北 师 大 学 报(自 然 科 学 版)V o l N o 年月J o u r n a l o fN o r t h e a s tN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)J u n e 文章编号 ()D O I /j c n k i d s l k x b 收稿日期 基金项目新疆维吾尔自治区自然科学基金资助项目(D C );工业互联软件开发项目()作者简介郑明明(),男,硕士研究生;通信作者:刘胜全(),男,教授,主要从事智能信息处理、网络空间安全等研究基于可变形卷积融合双注意
2、力机制的缺陷检测方法郑明明,刘胜全,马前(新疆大学软件学院,新疆 乌鲁木齐 ;新疆大学信息科学与工程学院,新疆 乌鲁木齐 )摘要在工业生产制造过程中,由于生产失误致使产品表面缺陷不仅影响产品质量,同时也会损害企业形象针对现有方法使用卷积神经网络只具备局部感受野的问题,将V i s i o nT r a n s f o r m e r(V i T)作为特征提取器,V i T可以通过位置编码与图像块间的互相运算充分利用图像中各部分间的关联特征此外,针对现实场景下的缺陷区域是不规则、不连续的,现有的模型也未充分利用图像中通道与空间信息问题,提出了一种基于可变形卷积融合空间通道双注意力机制的方法(d
3、e f o r m a b l ec o n v o l u t i o n a l a n dd u a l a t t e n t i o nf l o w,简称D C A F l o w)对于不规则的缺陷区域,使用形变建模能力更强的可变形卷积进行特征提取,并利用通道与空间维度的注意力机制对可变形卷积提取的特征进行权重再调节实验结果表明,所提出的方法能够有效检测各种类别物体中的表面缺陷,在多种物体中的平均AUR O C值可达 ,相较基线方法最大值提高了,且具备更好的泛化性 关键词缺陷检测;可变形卷积;注意力机制;标准化流 中图分类号T P 文献标志码A引言在过去的几十年中,我国的制造业水平
4、取得了飞速发展多种多样的制造品丰富了人民群众生活随着生活水平的不断提高,人们对于商品的需求不仅局限于基本功能需求,对于产品的质量也有了更高的要求然而在工业生产过程当中,由于原料品质、机器故障等原因致使产品表面缺陷不可避免,所以在产品出厂前能及时发现含有缺陷的制造品是至关重要的生产型企业每日生产产品的数量是十分庞大的若采用人工的方式进行检验,将依赖于检验人员的过往经验,且需要付出较大的时间和人力成本现有不依赖于人工方式且大范围使用的检验方法通常基于机器视觉技术 ,通过工业相机对产品进行拍照、图像预处理、计算分析以及缺陷类别分类等步骤进行缺陷检测任务图像预处理阶段主要进行去噪、平滑、阈值分割工作在
5、计算分析阶段主要利用C a n n y算法、径向密度函数插值、阈值分割法等实现前后景分离缺陷分类阶段会根据事先准备的缺陷模版与现有缺陷形状进行比对确定缺陷类别近几年,深度学习在国内外各研究领域取得了突破性进展,特别是在目标检测领域及语义分割领域的快速发展这给表面缺陷检测任务带来了新的解决方案基于深度学习的表面缺陷检测方法通常使用卷积神经网络(C o n v o l u t i o n a lN e u r a lN e t w o r k,简称C NN),通过卷积核对图像进行特征提取,再通过分类器将提取到的缺陷特征进行分类比较有代表性的网络有F a s t e rR C N N、Y O L O
6、、R e s N e t等第期郑明明,等:基于可变形卷积融合双注意力机制的缺陷检测方法上述方法虽然在各类缺陷检测场景下都取得了成效但仍然存在一些不足基于机器视觉的方法需要对图像进行大量的预处理工作,对图像采集的光照、角度等条件也较为敏感另外,该类型方法还需要提前准备缺陷模版,但人们很难将可能出现的缺陷列举完整基于深度学习的方法同样需要指定缺陷类别用于分类且依赖大量数据进行训练,但在实际生产环境下的缺陷样本数据十分稀少,数据量不足将导致神经网络出现过拟合或欠拟合问题,无法保证检验效果另外,卷积神经网络只具备局部感受野,无法捕获局部和全局特征之间关联信息现有的方法都未充分利用图像的多通道信息及深度
7、特征在空间维度上的互补信息固定形状卷积核在提取不规则缺陷区域以及不连续区域时的表征能力不足针对上述问题,本文提出使用V i T作为特征提取器,以解决传统基于C NN的预训练模型只具备局部感受野的问题;针对缺陷检测场景下缺陷区域不规则、不连续的特点以及现有模型未利用图像通道以及空间信息的问题,提出了一种基于可变形卷积融合空间通道注意力机制的无监督学习方法D C A F l o w在真实场景下的多类别缺陷检测数据集中进行实验,所提出的方法在各种类别的平均AUR O C评价指标取得了优于其他方法的分割效果相关工作在无监督学习领域,最常见的方法是基于自动编码器(A u t oE n c o d e r
8、,简称A E)或基于图像重建的缺陷检测方法 B e r g m a n n等将结构相似性(S S I M)引入到自动编码器中,并通过欧式距离来判断重建后的图像是否存在缺陷生成对抗网络(G e n e r a t i v eA d v e r s a r i a lN e t w o r k,简称GAN)是一种强大的生成模型,对于异常数据,网络无法对其进行重建,故判定为存在缺陷近年来,也有学者将其应用于缺陷检测任务之中 A k c a y等提出了一种名为GAN o m a l y的网络结构,通过编码、解码、编码过程重建网络及生成对抗学习所形成工作流,实现了一种低计算开销的缺陷检测方法 Y e等
9、提出了一种信息擦除模块用于从图像中擦除某些对象属性相较于S a b o k r o u等 提出的基于恢复的异常检测方法,这一模块应用于A R n e t可以有效控制特征嵌入以及更好的提取语义特征 P e r e r a等 提出了一种名为O C GAN的模型用来学习类间示例的潜在表示该表示通过限制潜在空间以代表给定的类别 S c h l e g l等 提出了一种深度卷积生成对抗网络A n o GAN,该网络通过学习正常样本,通过一种新型异常分数用来判断图像块是否存在缺陷,最终在视网膜光学扫描图像异常识别场景下实现了较高的准确率D a v i d等 基于局部缺陷会破坏图像重建过程这一特点,提出了一
10、种将异常数据投射到自动编码器学习的新方法基于生成模型的缺陷检测方法容易受到缺陷类型、大小等因素影响对于表面缺陷检测中的特征提取器,大部分现有的工作都采用C NN骨干网络,如R e s N e t J e r o n e等 利用VG G网络进行预训练,通过迁移学习完成了缺陷检测任务 S a b o k r o u等 利用A l e x N e t进行预训练,并通过完全卷积的方式拟合高斯分布生成可用的无异常向量 N a p o l e t a n o等 从R e s N e t 中进行预训练,并对分布进行建模,使用P C A进行降维后再使用k m e a n s进行聚类 Y a n g等 通过在V
11、G G 网络上进行预训练,并提出了一种多尺度区域特征生成器用来感知多个空间上下文特征以上基于C NN及其变体的方法在预训练阶段只考虑了局部特征,未考虑到全局关联特征标准化流(N o r m a l i z i n gF l o w,简称N F)是一种能够学习数据分布与密度之间转换的神经网络其映射是双向的,即可以在双射和流模型两个方向上使用 N F可以将简单的高斯分布经过一系列双射映射到合适的表征空间 R e a l NV P 和G l o w 是两个典型的N F方法,可以快速处理正向反向过程N F一般用于从特定概率分布中采样的变量生成数据,例如图像和音频几年来,一些学者 通过使用N F估计测试
12、样本存在缺陷的可能性 M a r c o等 采用多特征提取器在多维度提取特征并通过特征融合将多尺度特征进行融合,针对低维特征分布,提出了一种基于标准化流的方法,并提出了一种评估缺陷的评分函数在定位缺陷时,可以实现像素级别的定位与其他方法相比,该方法对数据规模要求较小,在数据量较低时也能达到不错的效果但流模型也通常未将图像的通道与空间信息考虑在内基于可变形卷积融合双注意力机制的缺陷检测方法 缺陷检测方法整体流程图展示了缺陷检测方法整体流程在训练阶段,仅使用无缺陷图像进行训练为了减少模型对于东 北 师 大 学 报(自 然 科 学 版)第 卷特征出现位置的依赖性,增强模型的泛化能力,将原始图像在数据
13、增强阶段通过随机概率水平、垂直以及 翻转的方式增加更多样本用于训练通过V i T作为骨干网络进行特征提取,这解决了传统基于C NN结构的网络只具备局部感受野的问题 V i T特征提取后会包含C个通道的特征图,多通道特征图进入多个串联起来的D C A F l o w中,可以通过D C A F l o w将特征图转换为正态分布在定位阶段,对于待检测的含有缺陷的图像,由于其存在缺陷区域,所以缺陷区域的分布不满足训练阶段得到的正态分布,故判断当前区域存在缺陷最后,将前一步得到的结果传播至原始图像进行逐像素的梯度计算,最终生成梯度图用于定位缺陷位置图缺陷检测方法整体流程 基于V i T的特征提取器传统的
14、基于C NN的特征提取器基于局部性和平移不变性两个偏置 局部性是指卷积神经网络默认同一实体在空间中是靠近的,非同一实体在空间中是隔离开的;平移不变性是指不同区域的特征使用同一卷积核进行特征提取,与位置无关,这也是C NN只具备局部感受野的原因 V i T 相较C NN的网络结构,仅全连接层具有上述归纳偏置,而图像块间的自注意力计算则是全局的因此,V i T可以更好地利用图像的全局特征如图所示,给定一张无缺陷图像xR(HWC),其中H为图像高度,W为图像宽度,C为通道数量将其切分为若干个p a t c h:xpRN(pc),其中p为切分后图像块的大小,p a t c h的数量N(HW)/P对于图
15、像块,V i T会进行线性投射(L i n e a rP r o j e c t i o n),即将图像块投射为一系列带有位置信息的D维向量z,该向量还携带一个用于分类的标记xc l a s s以及代表原图中空间位置的矩阵Ep o s,可描述为zxc l a s s;xpE;xpE;L;xNpEEp o s,ERD(pc),Ep o sRD(N)()经过编码的向量会输入到T r a n s f o r m e r 的E n c o d e r模块中进行特征学习 E n c o d e r部分由L a y e rN o r m层(L N)、多头注意力层(M S A)和ML P组成其形式化表达式为
16、:z M S A(L N(zl)zl,lL;()zlML P(L N(z l)z l,lL()图V i s i o nT r a n s f o r m e r(V i T)网络结构第期郑明明,等:基于可变形卷积融合双注意力机制的缺陷检测方法 可变形卷积融合双注意力的特征调节机制如图所示,卷积神经网络对形状不固定的特征图进行建模时存在缺陷,这是因为其使用固定的卷积核进行采样,但是现实世界的缺陷形状往往是不规则或不连续的因此卷积核具备随着感受野的变化而自适应变形的能力是很有必要的为了增强模型对于缺陷特征进行准确定位的能力,在D C A F l o w的两个特征提取阶段都加入了可变形卷积 如图所示
17、,D C A F l o w中的特征图进入可变形卷积后,会通过普通卷积层将通道数复制为N,用于学习x与y两个方向上的偏移量,记做Pn将输入特征图当中的像素索引值与偏移量相加得到偏移后的像素值由于得到的坐标值为浮点类型,通过双线性插值算法得到最终的像素值作为可变形卷积的输出图普通卷积与可变形卷积特征提取对比图图可变形卷积处理过程特征图通过可变形卷积进行特征提取后,将空间与通道双注意力 添加至网络中两个可变形卷积后使用目的是为了让经过可变形卷积提取后的特征能够利用通道与空间维度的注意力矩阵对特征图进行特征微调使得提取到的特征在注意力机制的作用下更加精确如图所示,FRCHW为可变形卷积提取到的特征图
18、,该特征作为通道注意力的输入,经过最大池化层与全局平均池化层的特征提取后,经过全连接层将特征合并,最后经过S i g m o i d激活函数将特征转换为特征权重值,将这一过程定义为()式中的Mc函数在通道注意力计算阶段,上阶段的输出F 作为空间注意力函数Ms的输入,经过最大池化层与平均池化层的作用得到两个特征图并在卷积的作用下降维成单通道特征图最后经过S i g m o i d激活为最终输出的权重值整个过程可以描述为()式F Mc(F)F;()F Ms(F)F()图空间注意力与通道注意力实现方式 D C A F l o w方法标准化流(N F)f:XZ是一种将输入特征映射成为某种分布(例如高斯
19、分布)的双向映射函数 N F将输入特征XpX(X)与隐变量ZpZ(z)之间形成双向映射基于流模型的缺陷检测方法(例如D i f f e r n e t在流模型中)是将特征提取器的输出展平后输入至流模型中,并未利用图像中丰富的通道信息 D C A F l o w在此基础上保留了通道信息,并且在通道维度进行了平分作为流模型中两条不同线路的东 北 师 大 学 报(自 然 科 学 版)第 卷输入,且在流模型内部充分利用了通道信息进行特征提取根据R e a l NV P 中给出的仿射耦合层的组合方案,设计出了一种基于标准化流的方法D C A F l o w用于概率密度估计,其结构见图输入带有多通道信息特
20、征图的通道数为C,首先将其在通道维度平分为yi n 与yi n yi n 经过可变形卷积特征提取以及空间通道注意力权重调节后进入批归一化层(B a t c hN o r m a l i z a t i o n,B N)该层的作用是将神经元的输入规范化为标准正态分布使神经网络在运算中获得较大的梯度以防止梯度消失使用L e a k y R e L U作为激活函数,目的是为了防止R e L U由于负输入带来的神经元“死亡”问题在特征提取的最后使用最大池化层用于减少参数量以及防止过拟合,提高模型的泛化能力经过特征提取后,将特征分为t与ss经过e x p函数为了防止其变为该项与另一输入yi n 相乘后与
21、t进行残差连接形成yo u t yo u t 的计算方式与yo u t 相类似最后,将yo u t 与yo u t 进行c o n c a t形成输出该输出将进入下一个D C A F l o w中公式为:yo u t yi n es(yi n)t(yi n);yo u t yi n es(yi n)t(yi n);yo u t c o n c a t(yo u t,yo u t)()图D C A F l o w方法实验结果与分析 实验数据集与性能评估指标本文用来评估方法有效性的数据集是具有挑战且新提出的真实世界数据集MVT e cA D 该数据集包含 个对象和个纹理类别包含 张无缺陷图像用于训
22、练 张含有缺陷的图像用于测试每个类别包含 到 张高分辨率图片图片的分辨率在 像素到 像素之间测试集中每个类别包含不同的类型、大小、形状的缺陷例如破碎、裂缝、扭曲等 MVT e cA D数据集在表面缺陷领域是唯一一个包含多种类别、多种缺陷的数据集,该数据集对于所提出方法的通用能力有较高要求在评价指标方面,本文采用接受 者操作特征 曲线下面积(A r e aU n d e rt h eR e c e i v e rO p e r a t i n gC h a r a c t e r i s t i cc u r v e,AUR O C)作为评价指标,其计算方式为TP RTT PTT PTF N;(
23、)FP RTF PTF PTF N()式中:被正确标注为缺陷区域的像素数目被称为真阳性(T u r eP o s i t i v e,TT P),错误被标注为缺陷区域的像素数目被称为假阳性(F a l s eP o s i t i v e,TF P),被错误标注为正常区域的数目称为假阳性(TF N),正确标注的正常区域称为真阴性(T r u eN e g a t i v e)而AUR O C指标则是利用上述指标计算真阳性率(TP R)与假阳性 率(FP R),以FP R为 横 坐 标、TP R为 纵 坐 标 进 行 逻 辑 回 归 得 出R O C(R e c e i v e r O p e
24、r a t i n gC h a r a c t e r i s t i c)曲线而AUR O C是R O C曲线下方的面积,其值越大,说明算法分割性能更优,同时鲁棒性也越强第期郑明明,等:基于可变形卷积融合双注意力机制的缺陷检测方法 神经网络参数设置基于P y T o r c h 对本文所提出的模型进行训练在图像预处理阶段,通过对训练样本进行水平、垂直以及 随机翻转的方式进行数据增强,概率分别为,和 然后将大小不一的图片统一调整为 像素使用V i T在I m a g e N e t K上的V i T B a s e权重上进行训练训练优化器采用A d a m,初始学习率为,权重衰减设置为 总共
25、训练迭代 次,批大小为 训练采用的硬件环境:C P U为I n t e l(R)C o r e(TM)i XC P U GH z,内存为 G B,G P U为NV I D I AR T XA 对比实验与分析通过与种基于不同思想且具有代表性的模型进行比较从而证明本文提出方法的有效性表显示了本文所提出的模型与其他基线方法在数据集MVT e cA D中 个类别的AUR O C值以及平均AUR O C值为了让结果更直观,类间最大值使用加粗标注,次大值使用下划线标注结果显示,本文提出的D C A F l o w平均AUR O C值最高,达到了 ;领先基于C NN预训练与图像重建思想的D F R网络 领先
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 变形 卷积 融合 注意力 机制 缺陷 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。