基于边缘增强感知的混凝土裂缝病害检测方法.pdf
《基于边缘增强感知的混凝土裂缝病害检测方法.pdf》由会员分享,可在线阅读,更多相关《基于边缘增强感知的混凝土裂缝病害检测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 20 卷 第 8 期2023 年 8 月铁道科学与工程学报Journal of Railway Science and EngineeringVolume 20 Number 8August 2023基于边缘增强感知的混凝土裂缝病害检测方法谭兆1,王保宪2,秦守鹏1,赵维刚2(1.中国铁路设计集团有限公司,天津 300251;2.石家庄铁道大学 安全工程与应急管理学院,河北 石家庄 050043)摘要:现有基于深度学习的混凝土表面裂缝病害检测与识别模型未关注裂缝目标边缘关键特征学习,易导致在复杂背景下细微裂缝漏检以及裂缝病害宽度感知精度不高。针对此问题,提出将裂缝边缘作为目标关键特征进行感
2、知学习,通过构建一种新的裂缝边缘预测分支网络,并与裂缝主干分割网络联合训练,形成一种基于双任务学习的裂缝检测与识别模型。利用Sobel边缘检测算子提取裂缝真值图中的边缘,作为裂缝边缘预测感知标记。通过通道卷积操作将原始裂缝识别网络的解码层划分为2条独立支路,一条支路用于完成裂缝主干分割任务,另一条支路则利用U-Net+网络解码器具有的聚合上下文功能,建立边缘预测分支网络。整个框架以正则化约束方式,将裂缝主干分割网络与裂缝边缘预测分支网络的损失函数联合训练,由此提高算法对裂缝病害的综合感知能力。通过选取一定数量的混凝土表面细微裂缝图像进行算法测试,实验结果表明本文算法在引入裂缝边缘预测增强感知模
3、块后,在细微裂缝识别方面,取得了比FCN,U-Net及U-Net+网络更优的检测与识别效果。关键词:裂缝检测;U-Net+网络;边缘检测;双任务学习中图分类号:TP391.41 文献标志码:A 开放科学(资源服务)标识码(OSID)文章编号:1672-7029(2023)08-3172-09Crack damage detection method based on edge feature reinforcement learningTAN Zhao1,WANG Baoxian2,QIN Shoupeng1,ZHAO Weigang2(1.China Railway Design Corpo
4、ration,Tianjin 300251,China;2.School of Safety Engineering and Emergency Management,Shijiazhuang Tiedao University,Shijiazhuang 050043,China)Abstract:The existing concrete crack detection and recognition models based on deep learning pay little attention to the key feature learning of crack target e
5、dges,which leads to the missing detection of fine cracks in complex backgrounds and low detecting accuracy of crack disease width.To solve this problem,this paper proposed to take the crack edge as the target key feature for perceptual learning.By constructing a novel crack edge prediction branch ne
6、twork and co-training it with the crack backbone segmentation network,a crack 收稿日期:2022-08-10基金项目:城市轨道交通数字化建设与测评技术国家工程实验室开放课题基金资助项目(2021ZH01);国铁集团实验室基础研究项目(L2021G013);国家自然科学基金资助项目(52178293,51808358,U2034207);河北省高等学校科学技术研究项目(BJ2020057);河北省自然科学基金创新研究群体项目(E2021210099)通信作者:王保宪(1987),男,河北清河人,副教授,博士,从事数字图
7、像处理、智能感知技术等方面研究;E-mail:DOI:10.19713/ki.43-1423/u.T20221573第 8 期谭兆,等:基于边缘增强感知的混凝土裂缝病害检测方法detection and recognition framework based on two-task learning was established.Specifically,Sobel edge detection operator was first used to extract the edges of crack ground-truth data,and it was utilized as the
8、manual labels of crack edge predicting network.Then,the decoder of original crack recognition network was divided into two branches by channel convolution operation:one branch was used for segmenting the backbone of cracks,and the other one utilized the aggregated context function of U-Net+decoder n
9、etwork for building the crack edge predicting branch.In the whole framework,the loss functions of backbone network for crack region segmentation and edge prediction branch network were jointly trained in the form of regularization constraints,thereby improving the comprehensive perception accuracy o
10、f crack damage detector.Finally,the comparative experiments were implemented using a certain number of concrete fine crack images.The experimental results demonstrated that by adding the edge-prediction enhanced perception module,the proposed crack detector achieved better crack detecting results th
11、an FCN,U-Net and U-Net+networks in terms of detecting the fine cracks.Key words:crack detection;U-Net+network;edge detection;two-task learning 裂缝检测与识别是开展混凝土结构耐久性评估中的一项重要内容。由于人工检查存在主观性强、效率低等缺点,近年来随着信息技术的快速发展,基于深度学习的裂缝视觉检测与识别方法成为行业发展的新趋势1。相比于边缘检测2、阈值分割3等传统方法,深度学习方法利用卷积网络从图像中挖掘多层特征,再通过训练特定的网络结构,完成图像分类、
12、定位、分割等任务。CHA等47提出利用卷积网络提取图像语义特征,并取得了比传统方法更好的裂缝检测效果。王耀东等8通过改进AlexNet网络结构,建立了隧道裂缝病害目标自动提取模型。虽然上述几种方法采用了卷积网络具备的良好特征提取能力,但是整个网络结构较为简单,因而在复杂背景下的普适性无法有效保证。为了适应复杂环境,薛亚东等9提出利用Faster RCNN二阶段网络先确定裂缝候选区域再辨识裂缝病害,可一定程度上提高裂缝检测与识别性能。柴雪松等10在超像素分割筛选基础上,提出了基于ResNet18与DeepLab-V3的分割网络;该方法依赖于超像素分割结果,对于细微裂缝或强背景干扰并不适用。刘新根
13、等11引入多尺度裂缝特征融合策略,取得了较好的裂缝分割结果。类似地,刘凡等12也提出一种基于并行注意力机制的裂缝检测与识别模型。虽然上述方法利用深度神经网络能够挖掘裂缝图像中的一些关键特征,但由于深度学习网络在各自方法中仍是一个“黑盒子”模型,网络训练过程中的一些不确定性会导致识别模型提取到一些非重要特征,而较为关键的裂缝边缘特征未能得到重点提取。最终可能导致模型性能局部“坍塌”到一些不好的特征提取层,进而出现裂缝漏检或虚警问题。此外,由于裂缝边缘特征未能得到强化学习,在深度学习网络的多次下采样中,几个像素宽度的细微裂缝将更容易丢失,因而出现裂缝漏检问题。为了更好地建立裂缝检测模型,李艳霞13
14、提出对裂缝图像进行边缘增强预处理,突出裂缝线条属性特征,有利于模型更好地训练学习。受此启发,本文提出一种基于边缘增强感知学习的裂缝检测方法。但不同于文献13,本文将裂缝边缘作为网络训练辅助标记,如图1所示,该方法以U-Net+为主框架,利用通道卷积将原始的U-Net+分割网络划分为2条支路,一条支路继续进行裂缝主干区域的分割工作;另一条支路则利用U-Net+网络解码器具备的聚合上下文功能,构建一个裂缝边缘预测分支网络。2条分支网络共同形成双任务学习体系,使整个网络在学习主干特征的同时能够聚焦于裂缝边缘信息,提高对细微裂缝病害的检测与识别精度。将待测试的裂缝图像输入到已建立的裂缝检测网络模型中,
15、模型会同时输出裂缝主体分割区域以及裂缝边缘检测区域,其前者将被作为最终的裂缝检测结果。1 算法提出1.1裂缝分割主干网络U-Net+网络是在原U-Net网络基础上提出的3173铁 道 科 学 与 工 程 学 报2023 年 8月语义分割模型14。图2展示了本文应用的5层网络结构:X0,X1.0,X2.0,X3.0和X4.0分别表示一个特征提取卷积模块,其包含了卷积、激活与归一化等操作;每个卷积模块后紧跟一个池化层,向下箭头代表下采样,向上箭头代表上采样;虚线代表了跳跃连接层。本文以U-Net+网络为裂缝分割主干网络,利用其提取裂缝的多尺度特征。利用Dice系数来计算裂缝分割主干网络的损失,其公
16、式为式(1)。其中X*为裂缝分割结果,Y为人工标记真值图,|X*|和|Y|分别为分割结果与真值图中的像素数量,|X*Y|则为分割结果与真值图内容相同的交集。当分割结果与真值图的内容重合度较大时,Dice值接近于1;反之,Dice值接近于0。式(2)为最终的主干网络的损失函数,式中是为了避免Dice计算中分母出现0而设立的极小常数值。Dice=2|X*Y|X*|+|Y|(1)LDice=1-2|X*Y|+|X*|+|Y|+(2)1.2裂缝边缘真值图相比于混凝土结构表面其他类病害(比如渗水、掉块等),裂缝为一种典型的条状类病害。在深度学习网络的特征提取中,特征下采样操作会导致裂缝条状信息大幅衰减。
17、因此,如何保持裂缝条状病害的边缘特征,是本文所解决的关键问题。图1本文提出的裂缝检测模型原理图Fig.1Schematic diagram of proposed crack detection model图2U-Net+网络结构图Fig.2Structure diagram of U-Net+3174第 8 期谭兆,等:基于边缘增强感知的混凝土裂缝病害检测方法为了构建裂缝边缘预测分支网络,需先提取裂缝的边缘真值图。考虑裂缝边缘主要包含2个属性,即方向和幅度。沿着裂缝边界方向的像素亮度变化平缓,而垂直于裂缝边界方向的像素亮度变化剧烈。因此,本文提出利用Sobel算子提取人工标记裂缝区域的边缘,
18、作为裂缝边缘真值图。如图3所示,Sobel算子提供了对垂直(图3(b)边缘与水平边缘(图3(c)的2个检测模板。设图3(a)为待检测的33输入图像,通过式(3)(4)可分别计算图像中每个点的水平方向与垂直方向的梯度值,再利用式(5)计算该点像素的总梯度大小,由此可判定该像素点是否属于裂缝图像边缘。Gy=(Z3+2Z6+Z9)-(Z1+2Z4+Z7)(3)Gx=(Z7+2Z8+Z9)-(Z1+2Z2+Z3)(4)|G|=|Gx|+|Gy|(5)1.3裂缝边缘预测分支网络为了提高网络模型对细微裂缝病害的检测效果,本文在裂缝主干区域分割基础上,进一步考虑利用裂缝特有的边缘特征,构造一个边缘辅助预测分
19、支网络,并将其与主干网络统一到一个深度学习模型中。如图2所示,选用的裂缝识别主网络U-Net+主要包含编码器、解码器等结构。在编码器部分,网络通过卷积得到不同分辨率的特征图;在解码器部分,网络将编码特征与编码器特征通过跳跃连接操作进行融合,如此构建了一个具有多分辨率特征的金字塔。受此启发,提出在主干网络的解码器上构建边缘预测分支网络,其利用裂缝输入图像与裂缝边缘真值图进行迭代训练,通过计算裂缝边缘真值图与裂缝边缘预测结果之间的差值来构造损失函数。边缘预测分支网络的具体建立过程如下所述。设主网络U-Net+为5层网络,其原始解码端的特征金字塔会输出5层特征图。如图4所示,边缘预测分支网络以 VG
20、G16 网络为基础,去除VGG16模型中的全连接层,并在卷积层后增加 5个侧边输出层,用以输出多尺度特征。从特征图的尺寸来看,主网络与边缘预测分支网络的各层特征图尺寸是一样的(分别为448448,224224,112112,5656与2828),因此可将 U-Net+网络的解码器视为边缘预测分支网络的编码器,并在U-Net+网络的后端构建边缘预测分支网络,增强网络模型对细微裂缝病害的检测效果。同时为了防止主干分割任务与边缘检测任务发生冲突,应用通道卷积对U-Net+解码器输出的特征图进行分支管理,分别用于主干网络训练与边缘检测网络训练。设X为输入裂缝图像,Y为原裂缝真值图Y对应的边缘真值图。为
21、了方便与原始分辨率的图像标记进行损失函数计算,将所有子解码网络层对应的特征图上采样至与原始图像尺寸相同的分辨(a)为33输入图像;(b)为垂直边缘检测模板;(c)为水平边缘检测模块图3Sobel边缘检测模板Fig.3Template of Sobel edge detector图4裂缝边缘预测分支网络结构图Fig.4Structure diagram of crack edge prediction branch network3175铁 道 科 学 与 工 程 学 报2023 年 8月率,这里设分支网络上采样后的第i层解码网络特征图为i,可利用交叉熵函数dist()计算第i层网络对应的预测损
22、失值,如式(6):Lis=dist(iY)(6)考虑每层解码网络特征图反馈的信息有所差异,引入特征图权重参数W=w1w2w3w4w5对分支网络的每层网络预测损失值进行综合计算,由此得到裂缝边缘预测分支网络的损失函数,如式(7):LS=i=15wiLis(7)将式(7)项作为正则化约束项,联合裂缝主干分割网络的损失函数(式(2),构建一种双任务联合训练框架,最终总体的裂缝分割模型的训练损失函数如式(8):L=LDice+Ls(8)在双任务联合训练过程中,整个网络结构会根据训练误差量迭代更新网络结构的所有参数以及所有特征图的权重参数W,由此实现对裂缝主干区域与裂缝边缘特征的综合感知学习。2 实验评
23、估与分析2.1数据集建立为了验证所提出的裂缝病害视觉检测模型的有 效 性,本 文 收 集 了 来 自 Cracktree15、CRACK50016、CFD17等大量裂缝数据集进行测试分析,并进一步使用佳能 HS125相机对石家庄铁道大学结构实验室的诸多试验构件进行拍摄,尤其拍摄了100张带有细微裂缝的混凝土病害图像。为了统一所有的裂缝图像尺寸,本文将收集与拍摄的裂缝图像均分割成448448大小的方块图像,共计有 11 600张。随机选取 10 000张数据用来训练网络模型,剩余1 600张数据则作为测试集,用于评估算法检测效果。由于新采集的图像数据,缺少人工标记,本文利用Photoshop软件
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 边缘 增强 感知 混凝土 裂缝 病害 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。