基于双通道多模态卷积网络的电子元器件缺陷分类检测.pdf
《基于双通道多模态卷积网络的电子元器件缺陷分类检测.pdf》由会员分享,可在线阅读,更多相关《基于双通道多模态卷积网络的电子元器件缺陷分类检测.pdf(9页珍藏版)》请在咨信网上搜索。
1、Hans Journal of Data Mining 数据挖掘数据挖掘,2023,13(3),269-277 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/hjdm https:/doi.org/10.12677/hjdm.2023.133027 文章引用文章引用:程克林.基于双通道多模态卷积网络的电子元器件缺陷分类检测J.数据挖掘,2023,13(3):269-277.DOI:10.12677/hjdm.2023.133027 基于双通道多模态卷积网络的电子元器件缺陷基于双通道多模态卷积网络的电子元器件缺
2、陷分类分类检测检测 程克林程克林 上海赫立智能机器有限公司,上海 收稿日期:2023年6月19日;录用日期:2023年7月19日;发布日期:2023年7月27日 摘摘 要要 目前在电子元器件的缺陷检测领域,主要是基于机器学习的传统图像处理算法和基于深度学习的智能图目前在电子元器件的缺陷检测领域,主要是基于机器学习的传统图像处理算法和基于深度学习的智能图像算法。深度卷积网络可以自动提取图像更深层的特征,避免了传统图像处理算法特征提取的复杂性和像算法。深度卷积网络可以自动提取图像更深层的特征,避免了传统图像处理算法特征提取的复杂性和盲目性。因此,本文提出一种基于双通道多模态卷积网络的电子元器件缺陷
3、分类方法盲目性。因此,本文提出一种基于双通道多模态卷积网络的电子元器件缺陷分类方法,将电子元器件影,将电子元器件影像分为像分为Pass和和Fail两个类别两个类别。首先,为提高模型的泛化能力,本文使用了。首先,为提高模型的泛化能力,本文使用了Top光源和光源和Side光源两个模态的光源两个模态的数据数据。其次,为解决训练样本不足和类间样本不平衡的问题,使用其次,为解决训练样本不足和类间样本不平衡的问题,使用PCA Jittering对数据集进行扩增对数据集进行扩增。最最后,为了实现模型对不同模态数据的有效覆盖,本文设计了一种基于特征融合的双通道卷积神经网络。后,为了实现模型对不同模态数据的有效
4、覆盖,本文设计了一种基于特征融合的双通道卷积神经网络。实验表明,本文的电子元器件缺陷分类方法能够更有效地处理训练样本不足的问题,并在训练过程中通实验表明,本文的电子元器件缺陷分类方法能够更有效地处理训练样本不足的问题,并在训练过程中通过特征融合提高了模型的性能。这将为电子信息产业的发展提供重要的技术支持和应用前景。过特征融合提高了模型的性能。这将为电子信息产业的发展提供重要的技术支持和应用前景。关键词关键词 深度学习,电子元器件缺陷分类,双通道卷积神经网络,多模态,特征融合深度学习,电子元器件缺陷分类,双通道卷积神经网络,多模态,特征融合 Defect Classification in El
5、ectronic Components Using Dual-Channel Multi-Modal Convolutional Network Clinton Cheng Shanghai iHorry Machines Co.,Ltd.,Shanghai Received:Jun.19th,2023;accepted:Jul.19th,2023;published:Jul.27th,2023 Abstract In the field of defect detection for electronic components,the main methods are traditional
6、 image 程克林 DOI:10.12677/hjdm.2023.133027 270 数据挖掘 processing algorithms based on machine learning and intelligent image algorithms based on deep learning.Deep convolutional networks can automatically extract deeper features of images,avoid-ing the complexity and blindness of feature extraction in tr
7、aditional image processing algorithms.Therefore,this paper proposes a method for classifying electronic component defects based on a dual-channel multimodal convolutional network,dividing electronic component images into two categories:Pass and Fail.Firstly,to improve the generalization ability of t
8、he model,this paper uses data from two modalities:Top light and Side light.Secondly,to solve the problem of insuffi-cient training samples and class imbalance between samples,PCA Jittering is used to augment the dataset.Finally,in order to achieve effective coverage of the model for different modal
9、data,this paper designs a dual-channel convolutional neural network based on feature fusion.Experiments show that the electronic component defect classification method proposed in this paper can more effectively deal with the problem of insufficient training samples and improve the performance of th
10、e model through feature fusion during training.This will provide important technical support and application prospects for the development of the electronic information industry.Keywords Deep Learning,Electronic Component Defect Classification,Dual-Channel Convolutional Neural Network,Multimodal,Fea
11、ture Fusion Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 电子信息产业近年来在全球范围内迅猛发展,以平板电脑和智能手机为代表的市场热点电子产品得到了广泛关注。这些电子产品的不断发展对社会变革产生了深远影响,并被各主要国家视为战略性发展产业。随着工
12、业 4.0 时代的到来,机器视觉在 3C 制造领域扮演着越来越重要的角色。在电子元器件的缺陷检测领域,人工目视检查是对工业产品进行质量控制的传统方法1。人工视觉检测因其采样率低、实时性差、检测置信度低等缺点,无法满足现代工业生产线的效率和质量要求2。目前,机器视觉是实现智能制造的关键技术之一,已成为替代人工视觉检测的有效手段3 4。其中主要采用基于机器学习的传统图像处理算法和基于深度学习的智能图像算法。先进的工业系统需要越来越高的产品性能,同时也越来越需要在生产过程中进行质量控制5 6。Capizzi 等7提出了一种基于空间灰度共生矩阵的检测器,采用径向基概率神经网络来检测水果上的缺陷。Li
13、等8使用空间灰度共生矩阵进行纹理特征分析,并将其与快速离散曲波变换相结合,在铁氧体上实现了 93.3%的检测率。Chen 等9提出具有纹理骨架结构的模型和 Bennamoun 等10提出的纹理斑点的检测方法用于纺织物图像上的缺陷检测。然而,深度卷积网络的出现为解决图像特征提取中的复杂性和盲目性问题提供了新的途径。Lin 等11开发了一种名为 LEDNet 的卷积神经网络来检测和分类 LED 芯片上的缺陷,实现了 5.05%的误报率。Kumar 等12使用深度卷积神经网络来检测和分类下水道缺陷,取得了 86.2%的准确率。Wang等13开发了一种基于 Fast RCNN 算法的几何复杂产品的缺陷
14、分类,取得了 81%的分类准确率。本文旨在基于双通道多模态卷积分类网络提出一种新的电子元器件缺陷分类检测。首先,为提高模型的泛化能力,本文使用 Top 光源和 Side 光源两个模态的数据。其次,为了解决样本不足的问题,本文Open AccessOpen Access程克林 DOI:10.12677/hjdm.2023.133027 271 数据挖掘 采用 PCA Jittering 方法对数据集进行扩增,以增加数据集的多样性和提高模型的泛化能力。最后,为了更好地处理不同模态数据,本文设计一种基于双通道多模态卷积网络有效融合多种模态数据的特征,以提高电子元器件缺陷的分类准确性和稳定性。本文目标
15、是为电子信息产业的发展提供技术支持和应用前景。通过提高电子元器件缺陷检测的准确性和效率,可以为电子制造行业的质量控制和生产效率提升做出重要贡献,并通过实验证明其有效性和可行性。2.提出方法提出方法 2.1.卷积神经网络卷积神经网络 卷积神经网络(Convolutional Neural Networks,CNN)是一种深度学习模型,广泛应用于计算机视觉领域,特别适用于图像和视频数据的处理与分析14。它的设计灵感源自于生物学中视觉皮层的神经结构。卷积神经网络通过多个卷积层、池化层和全连接层构成,其中每个层都由一系列可学习的过滤器(也称为卷积核)组成。这些过滤器在输入数据上进行局部感知和特征提取,
16、通过卷积操作捕捉输入数据的局部关联性。卷积层的输出被传递到池化层,池化层通过降采样操作减少特征图的空间尺寸,从而减少网络参数数量并增强特征的不变性。最后,通过全连接层将提取到的特征映射到最终的输出类别或预测结果。卷积神经网络具有几个重要的特点:卷积神经网络能够自动学习和提取图像中的特征,无需手动设计特征提取器;卷积操作和共享权重的机制使得网络在处理图像等大型数据时具有高效性和参数共享的能力;卷积神经网络还通过层级结构逐渐提取出越来越抽象和高级的特征表示,从而更好地理解和解释图像的语义信息。2.2.ResNet 残差网络(Residual Network,ResNet)15是一种深度卷积神经网络
17、架构,由微软亚洲研究院的研究团队于 2015 年提出。ResNet 的设计目标是解决深层网络训练中的梯度消失和梯度爆炸问题,以及改善网络随着深度增加而出现的性能退化现象。传统的卷积神经网络在网络深度增加时,容易出现梯度信号的衰减或爆炸,导致模型难以训练。为了解决这个问题,ResNet 引入了“残差学习”的思想。其核心思想是通过引入跨层连接(shortcut connection)来构建残差模块(residual block),允许网络学习恒等映射(identity mapping)和残差映射(residual mapping)之间的差异。在 ResNet 中,残差模块的输入和输出之间通过跨层连
18、接进行直接相加操作。该设计允许网络通过跳过几个层直接传递信息,避免了信息在网络层之间的不必要的变换和损失,有助于保持梯度的流动。此外,ResNet 还引入了批量归一化(batch normalization)和修正线性单元(ReLU)等常用的激活函数和正则化技术,进一步增强网络的表达能力和训练稳定性。通过残差学习的机制,ResNet 可以构建非常深的网络,如 ResNet-50、ResNet-101 和 ResNet-152 等。这些网络在各种计算机视觉任务中表现出色,包括图像分类、目标检测和语义分割等。此外,ResNet 的设计思想也对其他网络架构的发展产生了深远的影响,成为了后续深度学习网
19、络设计的重要基石。总之,ResNet 通过引入残差学习的思想和跨层连接的结构,在解决深层网络训练问题上取得了重大突破,极大地促进了深度神经网络的发展和应用。2.3.多模态数据多模态数据 本文实验使用 Top 光源和 Side 光源的两个模态的数据,即同轴光源和侧面光源,如图 1 所示。前者程克林 DOI:10.12677/hjdm.2023.133027 272 数据挖掘 指光线从顶部或者正上方入射相机的情况。当光线从上方照射被拍摄物体时,可以提供均匀的照明效果,减少阴影和反射,适用于一些需要无阴影和高对比度的应用场景。后者指光线从侧面或者侧方入射相机的情况。当光线从侧面照射被拍摄物体时,可以
20、凸显物体表面的纹理和细节,形成明暗对比,适用于一些需要强调表面细节和纹理的应用场景。对于 Top 光源和 Side 光源两个模态数据的使用,可以提高深度学习模型的性能和表现。不同的模态数据可能包含不同的特征和信息,通过融合这些特征,模型可以获得更全面和准确的特征表示。这有助于提高模型的泛化能力、分类准确率和预测能力。同时,不同模态的数据在特征上具有互补性。通过结合不同模态的数据,可以获得更多样化的特征表示,从而增强模型的表达能力。(a)(b)Figure 1.(a)Side view image of the component;(b)Top view image of the compone
21、nt 图图 1.(a)元件 Side 光图像;(b)元件 Top 光图像 2.4.PCA Jittering 数据扩增数据扩增 主成分分析(Principal Component Analysis,PCA)Jittering 是一种数据扩增方法,通过对原始数据集进行 PCA 和随机扰动,生成新的样本以增加数据集的多样性。以下是 PCA Jittering 的具体步骤:PCA:对原始数据集进行主成分分析,目的是找到数据集中的主要变化方向。这可以通过计算数据集的协方差矩阵、提取特征向量和特征值来实现。特征向量选择:根据特征值的大小排序,选择最大的 k 个特征向量作为主要变化方向。这些特征向量对应于
22、数据集中的主要模式和变化。随机扰动:对于每个原始样本,通过随机生成一个扰动量来引入随机性。扰动量的每个元素都是从一个正态分布中随机采样得到的。扰动量的计算公式为:=(1)其中,为正态分布中采样的随机数,为特征值的平方根,为特征向量。数据重构:将原始样本与扰动向量相加,得到新的样本。这些新样本包含了原始样本的主要变化方向以及随机扰动引入的变化。重复步骤和步骤:对于原始数据集中的每个样本,重复步骤和步骤,生成多个扩增样本。程克林 DOI:10.12677/hjdm.2023.133027 273 数据挖掘 通过 PCA Jittering 方法,本文可以生成一系列与原始数据集具有相似特征但具有一定
23、随机性的新样本,原始图像和 PCA Jittering 处理后图像如图 2 所示。这有助于扩大数据集的规模和多样性,提高模型的泛化能力,并减轻过拟合问题。同时,这种方法还能够保留数据集中的主要模式和变化,确保扩增样本与原始样本之间的一致性。(a)(b)Figure 2.(a)Original image of the component;(b)image of the component after PCA Jittering processing 图图 2.(a)原始元件图像;(b)PCA Jittering 处理后元件图像 本文网络结构本文网络结构 本文使用的双通道网络如下:Figure
24、3.The network 图图 3.本文网络 程克林 DOI:10.12677/hjdm.2023.133027 274 数据挖掘 如图 3 所示,本文双通道网络是基于 ResNet50 架构的深度卷积神经网络,旨在处理多模态数据并实现特征融合。该网络的设计思想是通过同时处理两个通道的输入数据,并在最后的全连接层中将两个通道的特征进行融合,从而提高模型的性能和泛化能力。网络的基础部分是 ResNet50,它由多个残差块组成,用于提取输入数据的深层特征。每个残差块包含多个卷积层和恒等映射连接,以有效地传递和学习输入数据的信息。在双通道网络中,本文将 ResNet50 的最后一个全连接层进行修改
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 双通道 多模态 卷积 网络 电子元器件 缺陷 分类 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。