基于机器视觉的工件识别应用研究.pdf

第8 期2023年8 月机械设计与制造Machinery Design&Manufacture299基于机器视觉的工件识别应用研究郑如新,孙青云 马素慧？,程冬1（1.南京林业大学机械电子工程学院，江苏南京2.河北科技师范学院机电工程学院，河北秦皇岛210037;066000)摘要：在现代化的工厂流水线生产中，大部分都是使用人工的方式去识别工件。如果长时间使用人工去识别分类工件的话，不仅劳动强度大，而且还会造成人眼的视觉疲劳，容易出现错误。为了避免此类情况的发生，采用机器视觉图像处理软件的计算机识别检测的方式最为有利。这里在此提出HALCON图像处理软件对工件进行识别处理，判断最终是否能够正确的识别该工件。试验结果表明：经过一系列的图像处理手段，最终可以不受其他工件的影响，正确的识别出该工件。关键词：机器视觉；图像处理；HALCON；识别；检测；分类中图分类号：TH16;TP242.6+2Application Research of Workpiece Recognition Based on Machine Vision(1.School of Mechanical and Electronic Engineering,Nanjing Forestry University,Jiangsu Nanjing 210037,China;2.School of Mechanical and Electrical Engineering,Hebei Normal University of Science and Technology,Hebei Qinhuangd-ao 066000,China)文献标识码：AZHENG Ru-xin,SUN Qing-yun,MA Su-hui?,CHENG Dong文章编号：1 0 0 1-3 9 9 7(2 0 2 3)0 8-0 2 9 9-0 5Abstract:In the modern factory assembly line production,most of them use the manual way to identify the workpiece.If we usemanual to identify and classify the workpiece for a long time,it will not only be labor-intensive,but also cause visual fatigue ofhuman eyes and prone to errors.In order to avoid the occurrence of this kind of situation,it is most advantageous to use the com-puter recognition detection method of machine vision image processing sofiware.HALCON image processing sofiware is proposedto identify the workpiece,and judge whether it can correctly identify the workpiece.The experimental results show that:after a se-ries of image processing means,the workpiece can be identified correctly without the influence of other workpiece.Key Words:Machine Vision;Image Processing;Halcon;Recognition;Testing;Classify1引言20世纪50 年代，机器视觉在国外开始兴起，当时只是简单的在一些图像处理和模式识别上面的应用，到了6 0 年代机器视觉技术开始慢慢往三维上面去发展。机器视觉现在发展迅速，在各行各业中得到广泛的应用，机器视觉可以代替人工来实现一些人工无法进行的操作，不但可以解放人的劳动力，而且还可以避免因为人工的操作失误带来的损失，机器视觉的关键是对采集的图像进行处理与识别。HALCON是德国Mvtec公司开发的一套完善的机器视觉算法包，在机器视觉开发领域应用广泛，在工业界已经是公认具有最佳效能的MachineVision软件 2 。来稿日期：2 0 2 2-0 6-1 1基金项目：江苏省高等学校大学生创新创业训练计划（2 0 2 0 NFUSPITP0128）作者简介：郑如新，（1 9 9 5-），男，江苏南京人，硕士研究生，主要研究方向：图像处理；孙青云，（1 9 7 1-）,女，江苏南京人，副教授，硕士生导师，主要研究方向：机械设计及其理论这里基于使用HALCON图像处理软件对工件进行图像处理，通过利用HALCON软件中的多种算法对相机所采集到的工件图像进行处理，最终确认是否能够正确识别出相应工件。2 系统平台的组成结构整个系统平台的采集硬件选用的是大恒水晶系列相机（型号为MER-500-7UC），如图1 所示。其中，分辨率是（2 59 2 x1944），并且搭载了型号为gx-0816,焦距为8 mm的光学镜头，一台内存为8 G的工业计算机，相机是通过USB2.0标准接口与计算机相连接并实时采集图像。将采集到的图像通过USB2.0传输到计算机上面，开始对图像进行处理操作。300郑如新等：基于机器视觉的工件识别应用研究第8 期DAHENGIMIGING图4 工件原始图片图1 MER-500-7UC相机Fig.1 MER-500-7UC Camera3系统平台的框架流程图当相机采集到了图片之后往往不能直接使用，需要对图片进行一定程度上的处理，主要包括：图片的预处理、阈值分割、形态学运算等操作，然后对提取出的工件进行相关识别并计数，工作流程图，如图2 所示。Fig.2Work Flow Chart4图像的采集在HALCON中图片的采集主要分为三个步骤，如图3 所示。开启图像采集接口图3 HALCON图像采集流程图Fig.3 Flow Chart of Halcon Image Acquisition(1)开启图像采集接口：连接相机并返回一个图像采集句柄，采用算子open_framegrabber打开相机。(2)读取图像：设置采集参数并读取图像。(3)关闭图像采集接口：在图像采集结束后断开与相机的连接以释放资源。5 图像的预处理图像预处理技术包括图像的增强，图像的平滑与去噪，图像的二值化等。图像的增强主要是为了突出图像中的细节，为了后续的特征识别或者检测做准备 3 。在HALCON图像处理中,可以使用emphasize算子实现这一操作，相机采集到的原始工件图片，如图4 所示。图像增强后的工件图片，如图5所示。可以看出图5相对于图4 有明显的增强效果，使得工件的边缘更加清晰、特征更加容易识别。Fig.4Original Pictureof WorkpieceO开始图像的采集图像的预处理阅值分割形态学运算立工件识别结果输出立结束图2 工作流程图关闭图像读取图像采集接口图5工件增强图Fig.5Workpiece Enhancement Diagram5.1图像的平滑与去噪平滑与去噪主要是用滤波进行处理，滤波的主要作用是去除图像采集过程中噪声及其他各种因素对图像质量造成的影响。在图像处理的过程中，能够使用到的滤波方法有中值滤波、均值滤波、低通滤波等。在这里主要采用中值滤波对采集到的图片进行滤波去噪。中值滤波就是选择一定形式的窗口，使其在图像的各点上移动，用窗内像素灰度值的中值代替窗中心点处的像素灰度值 4。并且选取像素点邻域内所有像素灰度值的中值作为其灰度值,能够有效的消除椒盐噪声及板块噪声，在平滑图像的同时又能保护边缘信息。在这里则主要采取空间域上的滤波方法，通过特定的算法对选定像素点邻域内的所有像素点进行处理，将处理结果作为这一像素点的输出值。对图像进行滤波处理的过程可表示为：a-1 6-1k(s,t)f(x-s,y-t)(-122式中:g(x,y)一滤波处理后的像素点(x,y)处的灰度值;a,b一以像素点为中心建立的矩形窗口的长宽的一半，,b应为奇数。k(s,t)一滤波器,又称为核函数(Kernel);f(-s,y-t)一窗口内一个像素点的灰度值。图片表面带有噪音，经过中值滤波处理之后达到了图7 的效果,如图6 所示。图6 工件椒盐噪音图Fig.6Salt andPepperNoise of Workpiece(1)No.8Aug.2023机械设计与制造按照上述阈值分割方法在拍摄的图像中将工件与背景分割开来，如图9 所示。301O图7 中值滤波Fig.7 Median Filtering5.2图像的灰度化图像的灰度化也是图像预处理中的一种手段,灰度图像是指只有亮度差别,而没有颜色差别的图像 5。如拍摄黑白照片或者将彩色图像转为灰度图像，用Y来代表亮度大小，其转化公式如下：Y=0.229R+0.587G+0.114B(2)但是在光照不均匀的情况下，对目标物体进行灰度化处理，如果光照强度较亮，则采集到的图像灰度值主要分布在高灰度值区域，如果光照强度较弱,则采集到的图像的灰度值主要分布在低灰度值区域，这样就会直接会影响到图像处理的质量。这里用了Gamma校正方法对图像的灰度进行非线性修正,基本形式如下：(3)g=cq式中：g输出图像的像素值;q输入图像的像素值;c一比例系数，一般取1;一Gamma校正的幂指数，当 1 时，灰度级压缩。在中值滤波处理之后,将工件图像灰度化,并且使用Gamma对其进行修正，使用算子rgb1_to_gray(ImageMedian，G r a y l ma g e）来实现这一操作，工件灰度图像，如图8 所示。Fig.8 Gray Scale of Workpiece6图像阈值分割二值化值分割是一种按图像像素灰度幅度进行分割的方法，把图像的灰度分成不同等级，然后设置灰度门限（阈值）的方法确定目标区域或边界，阈值法也是一种简单有效的图像分割方法 6-8 。这里采用根据直方图谷底确定阈值法来将图像从背景中分割开来，达到提取目标的目的。按下式进行二值化，就可将目标有效的提取出来。g(a)=0)TJ255 f(x,y)T式中：g(x）一阈值运算后的二值图像。(a)工件分割图灰度直方图-Graylmage-Regions346991300000200000-100000:国直方图选项量子化平滑国范围筛选及代码生成+操作插入代码无国输入和输出团输入窗口激活输出窗口输入(b)工件阈值分割灰度直方图图9 工件分割、工件阈值分割灰度直方示意图Fig.9 Gray Square Diagram of Workpiece Segmentationand Workpiece Threshold Segmentation调用算子threshold,并设定阈值在（1 7 3 2 55)的范围，在这范围之内的像素都会被选中，这样就可以将工件成功的从背景中分割开来。7形态学运算腐蚀与膨胀是形态学的基础,在图像处理过程之中,往往需要将腐蚀与膨胀相结合起来运用对图像进行处理 9。腐蚀与膨O胀都是属于一次运算，而一次运算往往不能达到令人满意的图像处理效果，所以就需要涉及到开运算和闭运算的二次运算，所谓的开运算就是先腐蚀后膨胀，减少图像像素，闭运算就是先膨胀后腐蚀,增加图像像素 1 0-1 。集合A被结构元素B作开运算，记为A。B，其定义为：图8 工件灰度图AB=(AOB)OB集合A被结构元素B作开运算，记为AB,其定义为：AB=(AB)O BB元素紧贴A的内部边缘平移、B元素、C区域为开运算后的结果示意图，如图1 0 所示。(4)B在A中进行平移(a)B元素紧贴A的内部边缘平移255204060801001201401601802002200.00通道173一颜色red绘画l线宽度口A255图自动选择最小化最大化255口连接日(5)(6)No.8302机械设计与制造Bcount_obj算子，来对识别出的工件进行计数操作，具体算法如下：count_obj(SelectedRegions,Number)dev_set_color(blue)set_tposition(WindowHandle,50,50)set_display_font(WindowHandle,30,mono,true,false)write_string（Win d o w H a n d le，有+Number+个工件)这里是基于一定的条件下，用阈值对工件进行识别分类结(b)B元素Aug.2023果,如图1 3 所示。C(c)C区域为开运算后的结果图1 0 B元素紧贴A的内部边缘平移、B元素、C区域为开运算后的结果示意图Fig.10 The Translation of Element B Close to the InnerEdge of A,and the Schematic Diagram of the ResultAfter the Open Operation of Element B and Region CHALCON中实现闭运算采用算子opening_circle来对图像进行处理。在阈值分割之后，由于光照的影响,图像中出现了不规则的孔洞，如图1 1 所示。这样会使得图像不完整。Q适应窗口图1 0 0%火孔洞图1 3 识别出工件的结果Fig.13 The Result of Identifying the Workpiece9结果验证此次识别主要是针对上述图中的工件，而非此工件的则不需要识别出来，若是目标工件中混入了其他工件则不需要识别。本次识别验证做了1 组实验，混有相同的目标工件和非目标工件，来验证通过上述的算法是否能够准确的识别出目标工件。如图14、表1 所示，结果表明，在目标工件和非目标工件比较少的情况下系统可以完全的识别出目标工件，识别率可以达到1 0 0%，如果在混合工件较多的情况下，可能会存在误分，误识。图1 1 阈值分割后的孔洞Fig.l1 Holes After Threshold Segmentation采用闭运算来填充孔洞结果，如图1 2 所示。小QQ适应窗口图1 0 0%(a)待识别工件和识别出的结果有5个工件图1 2 孔洞填充Fig.12 Hole Filling8识别结果在经过了上述处理之后就可以将工件识别出来，再采用(b)待识别工件和识别出的结果图1 4 待识别工件和识别出的结果示意图Fig.14 Schematic Diagram of the Workpieceto be Identified and the Identified TesultNo.8Aug.2023Tab.1Experimental Recognition Results目标工件个数非目标工件个数正确识别出目标工件的个数识别率10结语这里论述了基于机器视觉的工件识别系统组成、识别原理及方法。相对于人工去识别更加的方便、高效、快捷并且不易出错。但是这种方法也存在不足，容易受到光照的影响，在光照不均匀或者光照太强烈的情况下，会使得工件难以分割，造成一定的困难。但是本方法大绝大多数情况下是实现的，也具有更高的实用性。参考文献1】王慧艺,樊航，吉建佳.基于HALCON在钢筋绑扎过程中定位测量的研究 J.机械设计与制造，2 0 1 9(5)：8 4-8 7.(Wang Hui-yi,Fan Hang,Ji Jian-jia.Research on positioning measure-ment in steel bar binding process based on HALCONJJ.Mechanical De-sign and Manufacturing,2019(5):84-87.)2马庭田.基于机器人视觉的多类型工件识别与定位问题研究 D.南京：南京航空航天大学，2 0 1 8:1-7 4.(Ma Ting-tian.Research on multi type workpiece recognition and posi-tioning based on robot vision D.Nanjing:Nanjing University of Aero-nautics and Astronautics,2018:1-74.)3孙天一，蒙煌昌，江素婷，等.基于HALCON的工业零件检测研究 J.电子世界，2 0 1 8(1 0)：8 3-8 4.(Sun Tian-yi,Meng Huang-chang,Jiang Su-ting,et al.Research on de-tection of industrial parts based on HALCONJJ.Electronic World,2018(10):83-84.)4王战中,张俊，刘超颖，等.Matlab在圆柱形工件图像处理中的应用 J.机械设计与制造，2 0 1 2(1 1)：8 3-8 5.(Wang Zhan-zhong,Zhang Jun,Liu Chao-ying,et al.Application ofMATLAB in image processing of cylindrical workpieceJJ.MechanicalDesign and Manufacturing,2012(11):83-85.)机械设计与制造表1 实验的识别结果5郑琪琪，赵娟，孙庆泽，等.基于机器视觉的骨架油封图像处理研究J.机械设计,2 0 1 9,3 6(S2):95-98.5(Zheng Qi-qi,Zhao Juan,Sun Qing-ze,et al.Image processing of frame-1work oil seal based on machine visionJJ.Mechanical Design,2019,365(S2):95-98.)100%6安静宇，马宪民.基于中值滤波和小波变换的火电厂炉火焰图像去噪方法 J.计算机工程与科学，2 0 1 6,3 8(8)：1 7 0 2-1 7 0 8.(An Jing-yu,Ma Xian-min.Denoising method for furnace flame imageof thermal power plant based on median filter and wavelet transform J.Computer Engineering and Science,2016,38(8):1702-1708.)7刘文彬,温柏坚,高尚，等.基于深度学习的智能图像处理研究 J.自动化与仪器仪表，2 0 2 0(8)：6 0-6 3.(Liu Wen-bin,Wen Bai-jian,Gao Sheng,et al.Research on intelligentimage processing based on deep learningJJ.Automation and Instrumen-tation,2020(8):60-63.)8吴彰良,刘洁,孙长库.基于计算机视觉的油封尺寸检测系统设计 J.计算机测量与控制，2 0 1 2,2 0(5)：1 1 9 6-1 1 9 8+1 2 0 2.(Wu Zhang-liang,Liu Jie,Sun Chang-ku.Design of oil seal size detec-tion system based on computer vision JJ.Computer Measurement andControl,2012,20(5):1196-1198+1202.)9王伟斌,李立学,李海峰,等.基于小波变换和形态学处理的输电线路覆冰监测系统 J.电气自动化，2 0 2 0,4 2(4)：6 3-6 5.(Wang Wei-bin,Li Li-xue,Li Hai-feng,et al.Transmission line icingmonitoring system based on wavelet transform and morphological pro-cessing Jl.Electrical Automation,2020,42(4):63-65.)10朱先锋.基于双目视觉的工件尺寸三维测量 D.舟山：浙江海洋学院,2 0 1 4:1-8 1.(Zhu Xian-feng.3D measurement of workpiece size based on binocularvisionD.Zhoushan:Zhejiang Ocean University,2014:1-81.11张建立，叶平坤,孙深深.形态学图像处理下的矿石粒度的检测 J.机械设计与制造，2 0 2 0(3)：6 8-7 1.(Zhang Jian-li,Ye Ping-kun,Sun Shen-shen.Detection of ore particlesize based on morphological image processing JJ.Mechanical Designand Manufacturing,2020(3):68-71.)303（上接第2 9 8 页）(Liu Jian-hua,Wan Bi-le,Sun Gang.Cable harness virtual wiring andassemblyprocess simulation technology JJ.Computer Integrated Manu-facturing Systems,2012,18(4):787-795.)7 Yuan X,Yang S X.Virtual assembly with biologically inspired intelli-genceJJ.Systems Man&Cybernetics Part C Applications&ReviewsIEEE Transactions on,2003,33(2):159-167.8 Ng F M,Ritchie J M,Simmons J E L.The design and planning of cableharness assemblies J.Proceedings of the Institution of MechanicalEngineers Part B Journal of Engineering Manufacture,2000,214(10):881-890.9李春泉，徐楚，张明.轮廓扩展方法下的电气线缆布线技术研究 J.机械设计与制造,2 0 1 5(4)：2 6 6-2 6 9.(Li Chun-quan,Xu Chu,Zhang Ming.Routing technology of electriccables based on the method of contour extensionJ.Machinery Design&Manufacture,2015(4):266-269.)10李春泉，王弘扬，尚玉玲.面向混合约束模型的线缆布线技术研究J.机械设计与制造,2 0 1 8(7):52-54.(Li Chun-quan,Wang Hong-yang,Shang Yu-ling.Research on thetechnology of cable wiring based on the mixed model of wiring J.Ma-chinery Design&Manufacture,2018(7):52-54.)