激光焊缝图像分割与颜色识别方法研究.pdf
《激光焊缝图像分割与颜色识别方法研究.pdf》由会员分享,可在线阅读,更多相关《激光焊缝图像分割与颜色识别方法研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 47 卷 第 5 期2023 年 9 月激 光 技 术LASER TECHNOLOGYVol.47,No.5September,2023 文章编号:1001-3806(2023)05-0723-06激光焊缝图像分割与颜色识别方法研究吴家洲,刘 君,施佳文,张 胜(南昌航空大学 信息工程学院,南昌 330063)摘要:为了减少激光焊缝语义分割中焊缝形状和颜色多样性对分割精度的影响,采用注意力机制的图像语义分割方法提取焊缝区域。通过把焊缝区域图像从 RGB 转变到 HSV 颜色空间,在 HSV 模型空间实现对焊缝表面颜色识别,分析了 3 种类型焊缝对区域分割和颜色识别的影响。结果表明,焊缝分割
2、区域平均像素精度约为 91.2%,添加注意力机制U 型网络模型的分割效果更好。此焊缝表面颜色自动识别结果符合生产要求,在工业生产中有广泛应用前景。关键词:图像处理;语义分割;颜色识别;深度学习;注意力机制中图分类号:TG456.7;TP751 文献标志码:A doi:10.7510/jgjs.issn.1001-3806.2023.05.022Research on image segmentation and color recognition method of laser weldWU Jiazhou,LIU Jun,SHI Jiawen,ZHANG Sheng(School of In
3、formation Engineering,Nanchang Hangkong University,Nanchang 330063,China)Abstract:In order to reduce the influence of weld shape and color diversity on segmentation accuracy in laser weld semantic segmentation,an image semantic segmentation method based on attention mechanism was used to extract wel
4、d.The image in the weld was converted from RGB(red,green,blue)to HSV(hue,saturation,value)color space,and the weld surface color was recognized in HSV.The effects of three kinds of welds on region segmentation and color recognition were analyzed.The results show that the average pixel accuracy of th
5、e weld segmentation region is about 91.2%,and the segmentation effect of the attention U-Net model with attention mechanism is better.The results of automatic identification of weld surface color meet production requirements,and have broad application prospects in industrial production.Key words:ima
6、ge processing;semantic segmentation;color recognition;deep learning;attention mechanism基金项目:国家自然科学基金资助项目(61661037;61961028);南昌航空大学博士基金资助项目(EA201904307)作者简介:吴家洲(1973-),男,博士,讲师,现主要从事图像处理、机器学习和嵌入式系统设计等方面的研究。E-mail:jiazhouwu 收稿日期:2022-08-10;收到修改稿日期:2022-10-24引 言激光焊是一种高密度热源焊接形式,具有焊接速度快、焊缝深宽比大的特点,主要用于不锈钢、
7、钛和铝等金属的焊接。在焊接过程中,保护气对熔池和热影响区的有效保护是保持高速焊接的前提。LI1指出,钛合金激光焊接时容易吸收空气中的氮、氧和水蒸气,形成的间隙固溶体阻碍晶间运动,容易产生局部过硬和应力不均而形成裂纹。氧污染影响了商业纯钛激光焊接的微观组织结构,通过质量检测实验证实了焊缝表面颜色与焊缝组织结构和机械性能之间具有关联性2-3,焊缝表面颜色反映了焊接头机械特性的好坏。FAN 等人4开展了钛合金激光焊接实验,结果表明,钛合金焊缝表面为银白色、浅黄和金黄色时,焊接头机械性能良好,而焊缝表面为蓝色和灰色时,焊接质量不合格。显然,通过焊缝表面颜色可以初步判断焊接头的质量,这也是目视检测的主要
8、指标点。除了由钛合金激光焊接焊缝颜色判断焊接头质量外,铝合金和不锈钢等焊缝也可以通过颜色来初步判断焊接质量。GUPTA 等人5通过观察铝合金激光焊缝表面颜色来判断焊缝质量。HUA 等人6采用激光视觉检测方法分割出车身激光钎焊焊缝区域,依据焊缝区域颜色和形状来判断焊接质量是否合格。实际生产过程中,不可能完全通过焊接头的组织分析这种有损检测的方式来检验焊接质量,通过焊缝表面颜色和状态来预估焊缝质量是企业常用的方法。焊缝颜色自动识别过程包括焊缝区域分割和颜色识别两个过程。首先需从焊接件分割出焊缝区域,然后对分割出的区域进行颜色识别。分割是识别的前提,分割精度越高,颜色识别效果越好。基于阈值的激 光
9、技 术2023 年 9 月Otsu 法及其改进算法能较好实现图像分割。QI 等人7用方差信息代替传统 Otsu 算法中的均值信息,保证类间距离最大的同时也考虑类内像素的内聚性,适合于焊缝区域提取。MALARVEL 等人8采用最小概率加权方式调整焊缝分割阈值,错误分类评价显示出焊缝分割效果较好。针对阈值分割算法中过度分割的问题,焊缝区域采用基于距离场的形态学分割算法效果有明显提高9-10。RADI 等人11采用水平集算法实现焊缝区域分割,证实了这种算法具有时效性和通用性。近年来,深度学习技术得到飞速发展,通过深度学习提取射线图像特征进行焊缝区域分割和缺陷检测取得了很好的效果,能有效克服光照变化、
10、焊缝形状和焊缝颜色多样性所产生的影响12-14。传统的图像处理方法通过寻找合适阈值实现背景分割,往往会产生背景分割过度或不足的问题,且分割区域不够连续。从理论上讲,由于焊缝颜色多样性,传统的图像处理方法无法仅仅依据阈值方法实现焊缝区域分割。采用深度学习方法进行焊缝区域分割和缺陷识别效果良好。U型网络(U-Net)最初应用在医学领域的图像分割,能够在复杂组织中精确识别出特定病理区域15-16。尤其是注意力机制的引入,分割效果得到极大提高17。本文中引入 U-Net 算法来实现激光焊缝区域图像语义分割。彩色焊缝图像一般用红绿蓝 RGB 三基色模型来表示,不同颜色由不同强度的红色(red)、绿色(g
11、reen)和蓝色(blue)混合而成。RGB 颜色模型面向硬件,适合于计算机处理,但不太适合于人眼对颜色的识别。人眼对颜色识别通常采用色度、饱和度和亮度 HSV 颜色模型。LI 等人18研究指出,HSV 颜色空间的色度(hue)、饱和度(saturation)和亮度(value)是独立的,根据物体在 HSV 颜色空间的偏振光信息区分物体的种类。ZHONG 等人19的研究表明,HSV 模型对细微的色度变化具有更高的灵敏度,更适合于人眼对颜色的识别。RGB 转换到 HSV 颜色空间是一种高效的数值计算,不会带来图像精度的损失20。近年来,采用深度学习中图像分类的方法对 HSV 颜色空间的物体实现颜
12、色区分取得了较好的效果,然而其本质是一种颜色分类,必须事先知道要识别的所有颜色21-23。可见,在 HSV 颜色空间依据色度、饱和度和亮度的取值范围来确定颜色是可行的,应用范围也比较广泛。深度学习的颜色识别虽然提高了精度,但是整幅图像的颜色识别需要更多的推理时间,所有种类的颜色也必须提前预知。本文中以钛合金激光焊接为例,采用注意力机制U-Net(attention U-Net)算法实现焊缝区域的分割。接着对分割后区域做二值化处理,去除孤立的噪声区域,得到焊缝分割的二值图,最后提取实际焊缝图像。焊缝图像从 RGB 转变到 HSV 颜色空间,在 HSV 空间依据色度 H、饱和度 S 和亮度 V 的
13、取值范围来确定焊缝颜色。焊缝颜色的自动识别能够克服焊缝目视检测不足,为实现焊缝表面检测自动化提供理论支撑。1 焊缝图像区域分割激光焊接采用美国 IPG 公司 YLS2000 型号的光纤激光器,焊接材料为 TC4/TA2 钛合金,通过 KUKA机器人实施焊接。焊接完成后,利用相机对焊接工件拍照得到焊缝图像,再采用深度学习中 attention U-Net算法分割出焊缝区域。接着将焊缝区域从 RGB 转换 图 1 焊缝颜色识别过程Fig.1 Color recognition process for weld图 2 3 种类型焊缝Fig.2 Three types of welds427第 47
14、卷 第 5 期吴家洲 激光焊缝图像分割与颜色识别方法研究到 HSV 颜色空间,最后在 HSV 颜色空间计算焊缝区域的平均色度,依据 H、S 和 V 的取值范围确定焊缝颜色,初步判断焊缝质量是否合格,整个过程如图 1 所示。激光焊缝具有深度比大的特点,焊缝宽度普遍较小,焊缝长度可长可短。因此,利用相机拍摄焊缝可分为以下几种情况:完整焊缝、焊缝初始或终止部分、焊缝的中间部分,如图 2 所示。深度学习训练前必须对训练图像进行标注,而标注工具 LABELME 软件规定图像边界不能作为焊缝区域,因此,对于图 2b 和图 2c近似采用靠近图像边缘作为标注边界。模型训练过程发现,焊缝区域越靠近图像边界计算误
15、差越大。U-Net算法在下采样过程中图像越来越小,激光焊缝宽度本来就比较狭窄,网络深度过大焊缝图像会失去边界信息。模型不宜采用过深的网络结构,也无须采用丢弃法(dropout),防止特征信息的丢失。模型网络结构尺寸和深度由激光焊缝宽度大小来决定。1.1 图像分割算法激光焊缝区域图像分割是对焊接质量合格和不合格两种情况下的焊缝提取,然而这两种焊缝通常具有多种不同颜色和形状,采用普通的颜色阈值分割和自适应阈值分割 Otsu 算法不能得到完整的焊缝区域,存在过度分割或分割不足的问题,进一步影响焊缝颜色识别,可能会对焊接质量检测做出误判。深度学习的语义分割方法克服了焊缝形状和颜色多样性问题,大量样本的
16、训练使得模型提取了不同形状和不同颜色焊缝区域的多种特征,能够有效实现焊缝区域的分割。采用 attention U-Net 算法分割焊缝图像,如图 3 所示。图中,conv(convolution)表示卷积计算,maxpool 是最大池化,up conv 为上卷积计算。图 3 Attention U-Net 焊缝分割模型Fig.3 Weld segmentation model based on attention U-Net由图 3 看出,attention U-Net 算法是典型的编码器和解码器结构,共分为 5 层。编码每次通过 2 次 33的卷积提取特征,数据归一化后输入线性整流函数(re
17、ctified linear unit,ReLU)激活函数。然后采用 22的最大池化降低维度,减少计算量,同时提取更高层次的图像特征。编码阶段共进行 4 次最大池化,图像尺寸从 512128 以 2 的倍数逐步减少,第 5 层图像尺寸328。解码阶段采用 4 次上采样,每一层每次编码器的图像乘以注意力系数后再与同一层尺寸相同的上采样后的图像拼接,再连续做 2 次 33 的卷积,归一化后采用线性整流函数 ReLU 激活,再进行下一次上采样。上采样后图像尺寸以 2 的倍数增大,4 次上采样后图像尺寸恢复到 512128。最后一次采用通道数为2 的卷积计算,用归一化激活函数(softmax)计算每个
18、像素点属于焊缝的概率,实现焊缝与背景的分割。深度学习的图像语义分割除了 U-Net 算法外,具有代表性的还有全卷积网络(fully convolutional net-work,FCN)24和 DeepLab V1V3 系列模型25等。图像语义分割本质上是像素级的分类问题。FCN 模型的特征提取采用了经典的 AlexNet、视觉几何组(visual geometry group,VGG)和 GoogLeNet 等网络,以 VGG16作为骨干网络的分割效果最好23。然而,VGG16 网络结构较深和池化操作次数较多,而激光焊接的焊缝宽度狭窄,输入图像的像素宽度为 128,在 VGG16 模型中经过
19、 5 次池化后宽度变成 4 个像素,焊缝可能已经失去了原有特征信息,无法通过上采样恢复焊缝区域。DeepLab 系列模型以 VGG、ResNet 和 Xception 作为骨干网络,采用多尺寸空洞卷积计算提取图像特征,避免了多次池化操作引起的特征丢失的问题,但对焊缝图像宽度为 128 的图像分割效果很一般。多次调试发现,过深的网络结构不利于激光焊缝图像分割,主要是由于激光焊缝宽度狭窄和焊缝颜色多样性引起的。U-Net 算法通过图像拼接同时考虑了低层次和高层次图像的特征信息,通过较少的训练样本也能得到较好的分割效果14。依据激光焊缝特点,选择 U-Net 算法做焊缝图像分割。深度学习注意力机制包
20、括:空间注意力和通道注意力。对图像中每个像素的权重处理来调节各个像素点的作用,是空间注意力机制。强化某通道图像的作用,同时弱化其它通道的作用称为通道注意力机制。本文中采用的是空间注意力机制,数组 att 是每一层的注意力系数,att0是最上层注意力系数,att3是最下层注意力系数,整个模型共有 4 层添加了注意力系数,如图 3 所示。对于每一层,最后一次卷积所得527激 光 技 术2023 年 9 月到图像乘以本层的注意力系数,再与下层上采样图像拼接,最后进行 2 次卷积计算提取图像特征。引入注意力机制强化了输出特征对低层图像中特定像素点的影响,弱化了图像中不重要的特征,从而提高了计算精度。a
21、tt 系数的计算是编码器中最后一次卷积计算图像与解码器中同一层特征图像拼接,接着进行 2 次 33 的卷积,再 11 卷积,这样就得到与图像尺寸一致的注意力系数矩阵16。1.2 预测图像的后处理激光焊接过程中产生飞溅凝固在工件表面,或者类似于图 4a 中人工标注的 C11 位置处等,U-Net 图像分割算法后可能在这些位置形成噪声,如图 4b 所示。分割的好坏会影响颜色识别结果,采用图像处理的方法解决这个问题。先将预测图通过自适应阈值的方法转变成二值图,然后计算图像中每个封闭区域的面积,再将面积小于某个值的区域删除,剩下的面积最大区域就是完整的焊缝区,如图 5 所示。由图 5 和图 4b比较可
22、以看出,后处理图完全过滤了噪声,与图 4c 标定图像非常吻合,分割精度明显提高。图 4 预测图像的后处理Fig.4 Post-processing of predicted image图 5 处理后的二进制图像Fig.5 Binary image after processing1.3 分割质量评价激光焊缝分割本质上是对图像上每一个像素点的二分类预测,采用计算集合相似度度量函数(dice)系数评价分割质量,其范围是0,1,0 表示没有重合区域,1表示预测区域与标定区域完全一致。本项目是把类似于图 5 中预测图处理后的二进制图像与标定图比对,来计算集合相似度度量函数(dice)系数 D:D=2(
23、A C)A+C(1)式中,A 代表预测图像经过后处理的图像,由于预测图像含有噪声,没有直接代入计算;C 是标定的图像。2 颜色识别HSV 颜色空间中 H 体现色度大小,其取值范围为0,360,红色、绿色和蓝色对应范围分别为 0、120和 240,其它颜色通过线性插值获得。S、V 分别是饱和度和亮度的大小,二者取值范围均为0,1,其值为一个比例值,饱和度表示颜色深浅,饱和度越高颜色越深;V 则体现颜色的亮度,数值越接近于 1 则物体越白。在开源计算机视觉(open source computer vi-sion,OpenCV)软件库中,H、S 和 V 数值的取值范围分别为0,180、0,255和
24、0,255,可依据颜色对照表确定具体颜色。依据 OpenCV 官方手册提供的方法,将焊缝模型从 RGB 转变到 HSV 颜色空间,如下所示:V=max(R,G,B)(2)S=V-min(R,G,B)V,(V 0)0,(other)(3)H=60(G-B)V-min(R,G,B),(V=R)120+60(B-R)V-min(R,G,B),(V=G)240+60(R-G)V-min(R,G,B),(V=B)0,(R=G=B)(4)式中,R、G 和 B 分别表示颜色空间中红色、绿色和蓝色分量的值,S 的取值范围为0,1,在 OpenCV 算法中,S=255S,其区间范围变成0,255。同理,(4)式
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 激光 焊缝 图像 分割 颜色 识别 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。