基于深度学习的路面裂缝提取_龚小强.pdf
《基于深度学习的路面裂缝提取_龚小强.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的路面裂缝提取_龚小强.pdf(5页珍藏版)》请在咨信网上搜索。
1、裂缝是主要的路面损坏,路面裂缝自动化提取对于维护和监测路面状况至关重要。针对传统人工检测效率低、缺乏客观性等问题,提出了一种基于深度学习语义分割网络的路面裂缝自动提取方法,实现了由路面图像自动生成裂缝二值图。并且阐释了不同尺度特征对语义分割的好处,并结合裂缝本身细小的特性,在 U-Net的基础上增加了大尺度特征提取分支。随后采用激励压缩模块进行两种特征的融合。在 CFD(computational fluid dynamics)数据集上的实验表明,该 改 进 算 法 的 F1 分 数、kappa 系 数 分 别 可 达 74.28%和73.83%,相较于其他主流分割网络,提高了约 2%。关键词
2、:裂缝自动提取;多尺度特征;激励压缩模块;特征融合;语义分割中图分类号:P237;TP753文献标志码:AAbstract:Crack is the main pavement surface damage.Automatic crack extraction is essential for maintenancing and monitoring pavement surface condition.Aiming at the problem that the use of artificial methods is inefficient and lack of objectivity,
3、this paper proposes a method of Automatic crack extraction based on deep learning semantic segmentation network,which can generate binary images from pavement images.What s more,this paper explains the benefits of different scale features for semantic segmentation.With the consideration of crack s c
4、haracteristics,thin and small,this paper adds a large-scale feature extraction branch on the basis of U-Net.Then the different features are fused by Squeeze and Excitation module.Experiment on CFD dataset shows that the F1 score and kappa coefficient of the improved algorithm can reach 74.28%and 73.
5、83%respectively,which are about 2%higher than state-of-the-art segmentation networks.Key words:automatic crack extraction;multi-scale features;squeeze and excitation module;feature fusion;semantic segmentation裂缝是路面常见的病害之一,初期细小的裂缝可能没有明显的危害性,但随着时间的推移和外力的作用(如车辆荷载、雨水侵蚀等),细小的裂缝会逐步恶化,危害交通安全1。因此,及早发现裂缝病害并及
6、时修复,不仅可以延长公路寿命,而且可以减少交通事故的发生。传统的人工裂缝检测方法不仅效率低下,而且容易受到人的主观性影响;随着数字图像处理技术的发展,早期 Kaseko等2和 Liu等3使用基于阈值的方法来提取裂缝,这一方法的假设是裂缝亮度比周围像素暗,因此这类方法很容易受到路面上污渍、树叶等物体的干扰。随后基于手工特征的分类方法有了很大的发展,许多类型的特征被用于裂缝检测,例如:HOG4、LBP5、小波特征6、Gabor滤波7等。虽然这些方法能够实现裂缝的快速自动提取,但是提取结果容易受到外界光照不均、噪声的影响。深度学习能够通过对大量数据本身的学习,自动获取数据中最有效的特征表示8,一些学
7、者将卷积神经网络应用到路面裂缝提取中。Zhang 等9将待检测图片切分成许多小图片,并使用深度学习对每张小图片进行分类,该方法步骤繁琐且计算量大。DOI:10.14188/j.2095-6045.2021179文章编号:2095-6045(2023)04-0025-05引用格式:龚小强,邹进贵,曾晨曦,等.基于深度学习的路面裂缝提取 J.测绘地理信息,2023,48(4):25-29(GONG Xiaoqiang,ZOU Jingui,ZENG Chenxi,et al.Pavement Crack Extraction Based on Deep Learning J.Journal of
8、Geomatics,2023,48(4):25-29)基金项目:国家自然科学基金(41871373)。测绘地理信息2023 年 8 月曹锦纲等10将裂缝提取视为分割任务,使用语义分割网络将每个像素分类为裂缝或背景。本文所使用的的裂缝提取方法属于深度学习的语义分割方法,可以实现像素级别的裂缝提取。1 U-Net及其改进方案1.1U-Net语义分割网络U-Net11是一种语义分割网络,最早是用于医学图像细胞分割,由于其良好的分割性能和简单的网络结构,该网络已经被广泛应用于各行各业,其网络结构如图 1所示。U-Net网络由对称的特征提取路径和扩张路径组成,由于其形状为“U”形,因此被命名为 U-Ne
9、t。特征提取路径(编码器)由重复卷积操作加最大池化组成,用以提取高层次的语义特征;扩张路径(解码器)由重复的上采样(可通过双线性插值或反卷积操作实现),用以恢复图像的大小;另外,特征提取路径和扩张路径之间使用了短接线连接,用来进行中间层特征的融合。1.2语义分割中的多尺度特征成功的语义分割模型的关键要素之一是采用多尺度特征12。目前多尺度特征获取的主要方式有两种:Skip-Net,如图 2所示,将浅层特征与深层特征进行融合,从而使最终得到的特征图包含多尺度特征;多尺度预测,将原始图像、缩小后的原始图像和放大后的原始图像依次放入到网络当中,最后将得到的 3个结果取均值。语义分割网络是将图片中的每
10、个像素分类为 N类之一,这样就存在一个权衡:某些类别的预测最好在较小的尺度下进行,而其他类别的预测在较大的尺度下进行较为合理13。细小的物体(如裂缝)通过放大图像来进行预测可以取得更好的结果,因为放大之后细节更加清晰;而对于较大的物体(如房屋),则在缩小图像后进行预测效果更好,因为较大物体的预测需要更多的全局上下文,而缩小图片能增大网络的感受野,从而捕获更多的上下文。如果感受野过小,例如当人们视野中只有一件外套的一小块局部时,很难判断这是一件外套,因为它可能也是一块抹布或一件裤子,但是如果人们远离这件外套(根据远小近大,相当于将衣服缩小),视野变开阔,就能看到外套的全貌,从而很容易判断出这是一
11、件外套。本文所关注的裂缝属于细小物体,不需要很大的感受野,但对细节特征有需求。综上所述,本文在 U-Net的基础上增加了放大图像特征提取分支,用以提取更丰富的细节特征,然后使用激励压缩模块对原图提取的特征和放大图像提取的特征进行融合。因为两种特征的权重可能并不相等,而激励压缩模块可以根据梯度反向传播自动求解两者的权重。本文改进的网络结构如图 3所示,其中特征提路径 1/2 和扩张路径与原始 U-Net相同。图 3本文提出的网络结构Fig.3Proposed Network Architecture图 1U-Net模型结构Fig.1U-Net Architecture图 2Skip-Net结构F
12、ig.2Skip-Net Architecture26第 48 卷第 4 期龚小强等:基于深度学习的路面裂缝提取1.3激励压缩模块激励压缩(SE)模块最早由 Hu 等14提出,并以极大的优势取得了 ImageNet2017竞赛的分类冠军。SE 模块原理简单,并且即插即用,很容易加载到现有的分类、检测和分割网络中,它通过学习的方式来自动获取每个特征通道的权重,然后就可以根据这些权重去抑制对当前任务不重要的特征(给其分配较小的权重),其原理如图 4所示。第 1 步 是 压 缩(Squeeze),对 于 输 入 特 征 图(WHC)经过全局平均池化后,生成 11C的向量;第 2步是激励(Excita
13、tion),它将第一步生成的11C的向量送入两个重复的全连接层和激活函数,得到的 11C 的向量就是特征图各个通道的权重;第 3步是赋权操作,它利用第 2步得到的权重给特征图进行加权。2 CFD数据集实验结果及分析为了验证本文方法的有效性,本文在公共路面裂缝数据集 CFD 上进行了测试,同时还测试了原始U-Net模型、U-Net+大尺度特征提取网络(无激励压缩模块,特征融合采用通道上的等权堆叠,以下统一简称 LSFEU-Net)和 DeepLabv3+15模型,以便进行对比分析。2.1CFD数据集介绍CFD数据集由 Shi等16贡献,包含 118张大小为480320像素的图像,每张图像都含有人
14、工标记的裂缝轮廓。所有图像均由 iphone5 拍摄,焦距为 4 mm,曝光时间为 1/135 s。该数据集是在北京拍摄,能很好地反映国内路面裂缝的情况。本文取其中60%(71张)作为训练集,40%(47张)作为测试集。2.2实验相关配置本文实验的硬件环境为 GPU Tesla V100 16G(百度 Aistudio为本文提供 GPU 算力支持),使用的深度学习框架为百度飞桨(PaddlePaddle)。初始学习率为 0.001,学习率递减策略为 poly,优化器为Adam,所有网络训练时均使用了 coco预训练模型,以便快速收敛。训练时,bathsize 为 4,迭代次数为400,损失函数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 路面 裂缝 提取 龚小强
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。