基于PPYOLO的电池片缺陷检测.pdf

第 卷 第 期邵阳学院学报(自然科学版).年 月 ().文章编号:()基于 的电池片缺陷检测韩钰郑金亮王磊蔡培君王晨旸王紫玉(安徽大学 江淮学院安徽 合肥)摘要:为进一步提升太阳能电池片表面缺陷检测效率改进深度学习检测算法添加索贝尔()算子对输入图片进行处理得到缺陷边缘信息此边缘信息会过滤大部分正常区域信息同时能更快找到缺陷区域位置 再将边缘信息和原始图片拼接输入到网络模型中这样既保留了原始图片的特征又能防止 算子处理后的信息存在缺失所导致的特征信息丢失 为验证该算法在高清电池片数据集上进行仿真实验 实验结果表明添加 算子后的改进 模型检测效率有所提升表现为 提升.并且 相比于其他不同输入尺寸和模型大小的算法提升效果超过 关键词:缺陷检测电池片索贝尔()算子中图分类号:.文献标志码:():.:收稿日期:基金项目:安徽省高等学校科学研究重点项目()作者简介:韩钰男讲师硕士主要从事系统集成与图像识别研究:.第 期韩钰郑金亮王磊蔡培君王晨旸王紫玉:基于 的电池片缺陷检测 太阳能电池片的表面质量直接影响光能的吸收效率在太阳能电池片的生产过程中由于机械或人为因素等会对电池片表面造成各种缺陷这些缺陷会对电池片转换效率和寿命产生较大影响因此检测电池片表面缺陷是非常必要的目前对电池片表面检测的方法主要分为人工检测方法、机器视觉检测方法和深度学习检测方法 常见的有高光谱成像技术、发光成像对比方法、声波法、均值漂移法、多特征区域融合法、频域法和深度学习法等 采用平均法进行检测是一种简单且容易实现的方法但如果检测目标较少它的检测效率将较低 而频域法擅长对分布比较散乱的缺陷进行检测但其对刮伤不能进行有效识别 近年来目标检测算法已应用于多种目标检测场景但是对于高清图像中微小目标的检测依然存在检测精度不高的问题 由于在深度学习检测方法中对图像边缘的检测十分重要 算子作为边缘检测中的重要算子之一可以优化图像边缘检测效果并提升处理图像的效率 李雪梅等将加权核范数最小化图像去噪算法与索贝尔()边缘检测算法相结合大大提高了 算子检测的准确度使得在高噪声水平下能够获得清晰连续的边缘信息 本文在前人的研究基础上提出通过添加 算子改进 模型来进一步提升电池片表面微小缺陷检测效率 数据预处理.数据集介绍本实验训练数据集来源于安徽慧视金瞳科技有限公司提供的二维高清太阳能电池片图像 训练集一共有 张图片每张图片的分辨率为 由(行)(列)个电池片组合而成图片中可能会存在一种或多种缺陷 缺陷包括 种:电池片破碎、电池片有明显亮斑、电池片有形状规则黑边或灰边、电池片有划痕以及电池片不上电呈现黑色将训练集中这 种缺陷进行标记以便进行模型的训练对应的数字为 见表 表 电池片缺陷分类 缺陷种类破碎明显亮斑黑边或灰边划痕不上电呈现黑色图例数量/个 训练集中缺陷的标注由 个数组成分别为缺陷对应的数字矩形框左上角点横、纵坐标右下角点横、纵坐标标注结果保存在对应的训练集 文件中.数据增强训练集中的缺陷图片只有 张样本量少同时数据集图片尺寸过大并且缺陷分布稀疏(一张图片上可能只有一两个缺陷)其中有的缺陷尺寸极小最小只有 像素使得该缺陷在图片中的面积占比也极小增加了检测难度 因此如果只用这 张图片进行训练可能出现大部分缺陷无法被检测出来 为使训练数据更加丰富提高模型训练效果和精度实验时采用了如下几种增强方案)混合()和随机切片等 在训练时对每轮 选择出来的数据进行随机 邵阳学院学报(自然科学版)第 卷旋转、镜像和亮度调节等处理再将扩增后的数据送入模型进行训练这样操作模型在训练过程中可实时对数据进行扩增)粘贴增强 将数据的缺陷裁剪下来随机等概率地选取缺陷图片粘贴到无缺陷的图片上去提高图片中缺陷数量和面积占比这样模型在训练时相比于之前的稀疏缺陷将更快速且更容易学到缺陷特征 通过该方法将数据集扩充到 张图片 如图 所示相比于图()稀疏的缺陷分布图()具有更多缺陷特征图 粘贴增强方案.)尺寸增强()由于目前常用显存设备()的显存资源无法对高清图片进行计算处理因此不得不降低图片尺寸以满足训练的基本要求 但是如果降低图片尺寸缺陷也会随之变小导致小缺陷难以被检测出来出现缺陷漏检模型检测效果会降低 例如将图片 到()(像素宽像素高)部分缺陷会缩小到()左右的像素点大小使检测模型几乎失效 因此本次实验在特定的显存设备下()将图片 到合适的大小()或()以适配不同的算法模型.数据集制作电池片数据集制作是最基础的步骤同时也是实验前最重要的步骤 由于本实验所用的模型无法识别训练集标注的 文件需要将该文件转换为适配模型的 格式数据 读取 文件对每张训练集图片对应的标注框数据(标注框面积、左上点的横和纵坐标、宽和高、对应的缺陷类型等)进行简单地计算生成标准的 格式数据集 划分数据集结果见表 表 数据集数量分布 数据集数量/张原始样本数量/张增强数据样本/张训练集验证集测试集 模型结构.网络结构采用 的架构骨干网络()瓶颈()检测头()框架 部分使用残差网络 用特征金字塔网络 部分是 使用(残差网络)残差网络通过残差层的连接将网络层数变深使得网络提取特征能力变得更强 部分采用了图像金字塔网络(第 期韩钰郑金亮王磊蔡培君王晨旸王紫玉:基于 的电池片缺陷检测 )将局部与整体信息进行结合 由于存在不同层级提取特征图尺寸不同的情况例如高语义内容的特征图(深层网络提取的特征图)尺寸小含小目标的信息少而低语义内容的特征图(浅层网络提取的特征图)尺寸大含大目标的信息小 可以将高层信息提取传递给低层同时低层信息也可以传递进高层将信息进一步融合弥补了大物体的细节也补充了小物体的周边环境从而进一步提高精度 使用了、等策略 会使一部分神经元失活从而减少网络对某些特征的依赖在线性变换中对一些特征具有较好的抑制效果防止过拟合因此被广泛地用在全连接层但是在卷积层通常不太有效 卷积在局部之间具有较强的相关性仅仅使用 只是丢弃了不连续的点而卷积依然可以得到大部分信息 因此针对卷积神经网络就需要整体丢弃 结构形式也就是把大部分连续的点一整块进行丢弃这样可以让逼迫网络观察该物体其他的细节特征进行推导防止过拟合使网络具有更好的泛化能力.算子 算子常用在边缘检测上它使用了高斯滤波器平滑噪声再通过水平垂直方向的两个算子计算图像亮度函数的像素梯度值 算法原理如下:()()式中:()为二维高斯分布 为高斯滤波器参数标准差影响去噪质量原始图像()与高斯滤波器卷积得到图像()()()()()算子的 卷积模板如式()所示 ()将 和 与()进行计算也就是对图像()分别在 和 方向求导得到 和 最后计算图像每一点的近似梯度得到 ()矩阵对应原图像每个像素点的近似梯度值如果某点值越高说明该点为边缘点的概率就越高 当设置合适的阈值后如果该点值大于阈值则认为是边缘点反之则不是在电池片图片上进行 算子计算结果见图 图 算子处理后缺陷细节.图()为正常图片图()为缺陷图片图()、图()分别为图()、图()进行 算子处理后得到的计算结果图片展示图()、图()为图()的放大部分 观察 算子处理图像前后前者缺陷虽然比较明显但是正常部分特征干扰较大黑白相交 后者正常部分整体脉络明朗规律明显较容易识别 图()和图()能更加容易地 邵阳学院学报(自然科学版)第 卷显示缺陷边缘特征缺陷部分与正常部分有较大的特征冲突这种冲突对网络学习具有一定的帮助.改进方法在图像缺陷检测领域早期一般通过传统的图像处理技术如先通过二值化方法分割图片再对分割后的图片进行划分从而找到缺陷所在的地方 该类传统图像处理方法利用了人的常识及推理能力 而神经网络算法并不具备这种能力只能通过数据学习到一些相关的特征使用网络参数保存并记住特征 当样本量多时可能会具备上述的推理能力(实际是因为模型记住了特征)但样本量较少时神经网络模型则难以学到一些关键特征并且容易产生过拟合基于上述两种算法结构本文提出将 算子与 算法相结合的方法先使用 算子对图片进行处理再将经过 算子处理后的图片和原始图片拼接到一起输入到网络模型中提高了对电池片缺陷检测的准确性 整合后网络结构见图 图 结构图.模型选用 作为、部分使用金字塔自注意力网络()在 部分输入的图片数据先经过 算子处理后再与自己拼接()得到新的输入数据经过(卷积和批量标准化层)和最大池化层进入 个 模块这 个主要由残差卷积组成 从第二个 层开始将特征提取的结果输出到 部分 部分借用跨阶段局部网络()的思想先分为 和 两块将通道缩小 再通过 后与 进行 再经过 输出 这种处理方式相比于 直接使用 进行处理在检测实验中精度略有提升并且计算量少了很多 的输出既通过 部分进行结果输出又与前一个 的输出进行 后继续输入 的前一个部分重复进行最后得到多个不同尺度输出的结果 模型训练.训练平台本实验的训练平台采用的 为()().、内存、为 ()实验操作系统为 .环境为 .加速包为 .和 .网络模型训练框架采用 .第 期韩钰郑金亮王磊蔡培君王晨旸王紫玉:基于 的电池片缺陷检测 .参数设置初始化电池片数据集中的类别、类别名称和训练路径等相关参数 部分网络训练参数见表 表 网络训练参数 参数名参数值参数名参数值图片输入大小自适应动力因子.最大迭代轮数初始学习率.批次大小学习率衰减余弦退火优化器衰减系数.结果分析.评估指标本实验训练模型对高清电池片图片中微小缺陷区域进行检测模型性能采用精度均值()、平均精度均值()及检测速度()来进行评估 即每秒内可以处理的图片数量或者处理一张图片所需时间 由电池片数据集上预测结果的精确率 和召回率 决定如式()所示:()()():()()()()()式中:为预测结果中正确的比例 为正类样本被正确预测的比例为被正确划分的正类样本的数量为被正确划分的负类样本的数量为没有检测到的正类样本的数量 为总类别数量为第 类的 值()为某一召回率时精确率的大小计算 首先需要绘制准确率召回率()曲线对 曲线按照式()进行平滑处理后再按照式()计算即可 按照上述方法计算其他所有类的 最后取平均值即视为如式()所示 在图像分类任务中 就是类识别准确率由于回归框预测难以被衡量是否识别准确其准确率的划分一般由预测框与真实框进行(交并比)计算来决定当大于阈值时则识别准确反之不准确 为了能更好体现模型对微小缺陷的检测能力还使用小()、中()、大()种尺寸的 值进行评价见表.对比验证为验 证 网 络 模 型 的 性 能 本 文 首 先 使 用 算 法、和算法分别在电池片缺陷图片数据集上进行训练并将训练结果进行多项性能指标对比对比结果见表 邵阳学院学报(自然科学版)第 卷表 评价方式 名称评价范围平均精度超过 阈值的平均精度范围从.到.增量为.()像素区域 像素()像素区域 像素()区域 像素表 实验结果 算法输入尺寸主干网络/(帧).由表 可知 为两阶段检测算法模型参数量大可输入图片的尺寸较小()可提取图片信息不足导致 小于 算法()在输入尺寸相同情况下()算法()比 算法在、上 值均有所提升同时前者的 值也高于后者在小尺寸的缺陷检测上提高了.在中等尺寸上提高了.左右()主要体现在检测速度上大幅提升相比于 算法()其 提高了近 但 约为 算法()的 并且在微小缺陷上检测效果最差仅为.这一点也说明检测效果与模型及输入图片大小都密切相关图片尺寸越大其包含的信息越多模型能接收的信息就越多但相应也需要适合的模型大小进行检测否则效果就不理想通过表 各项评估指标的对比可知 算法与 及 相比总体性能更好 故选择 算法()作为后续对比实验的基础算法为验证 算子组合模型的有效性在少量高清电池片缺陷数据作为训练数据集情况下将该方法与原 算法进行对比见表 表 算法结果对比表 算法/(帧).由表 可知将 算法与 算子相结合的方法在最终检测效果上有进一步的提升 提升了.而 值差异较小即对推理速度影响不大 说明在少样本的情况使用 算子与深度学习方法()相结合对模型检测精度有一定的提升作用 分析以上两种算法的损失函数见图 采用 算子方法改进模型后在模型训练迭代过程中得到的 比原 算法更低收敛速度更快第 期韩钰郑金亮王磊蔡培君王晨旸王紫玉:基于 的电池片缺陷检测 .检测结果可视化 算子相结合的模型对电池片检测的整体效果图见图 图 增加 算子与原算法的损失值对比实验.图 检测结果图.由于图片过大不便观测将检测图的缺陷部分放大见图 通过框住的缺陷位置和置信度可以看出 相结合的模型对于 种不同的缺陷具有良好的检测效果图 检测放大图.结论神经网络感知机模型只能从大量数据中学到缺陷信息特征而无法像人类一样在少量样本上进行思考并总结出一部分特征 为了满足实际场景需求本文基于 模型作出了一些改进为此将人脑判别缺陷时所用的一种信息特征(边缘信息特征)输入到 神经网络算法中能使得网络直接获得边缘信息即将 算子与 算法相结合使其能根据边缘信息更好的定位识别缺陷 在高清电池片数据集上进行仿真实验 实验结果表明添加 算子后的改进 模型检测效率有所提升 提升.并且 相比于其他不同输入尺寸和模型大小的算法提升效果超过 在此基础上后续工作将继续探索 或其他算子与模型组合持续优化算法提高目标检测效果参考文献:刘红军 张峰.太阳能电池生产工艺改进措施的分析.科技风():.刘磊 王冲 赵树旺 等.基于机器视觉的太阳能电池片缺陷检测技术的研究.电子测量与仪器学报 ():.邵阳学院学报(自然科学版)第 卷吕喜臣 张敏.基于深度学习的太阳能电池片表面缺陷检测方法分析.中国设备工程():.():.():.:.():.():.段春梅 张涛川 李大成.基于时频域混合分析的太阳能硅片缺陷检测方法.机床与液压():.王宪保 李洁 姚明海 等.基于深度学习的太阳能电池片表面缺陷检测方法.模式识别与人工智能():.陈凤妹 程显毅 姚泽峰.基于深度学习的太阳能电池板缺陷检测模型设计.无线互联科技():.:/.().:/./.卞佰成 陈田 吴入军 等.基于改进 的印刷电路板缺陷检测算法.浙江大学学报(工学版)():.李俊杰 周骅 唐纲浩.基于改进 的电容表面缺陷检测方法.智能计算机与应用():.李迪 吴奇 杨浩森.基于改进 算子的边缘检测系统的设计与实现.信息技术与网络安全():.朱加乐.基于 算子及改进的最小二乘圆拟合的 瓶口缺陷检测.南京:南京大学.李雪梅 钟坚.加权核范数的边缘检测在最小化图像去噪中的应用.自动化与仪器仪表():.:/.().:/./.:/.().:/./.:.():./.().:/./.:.().:/./.:/.().:/./.