融合残差和卷积注意力机制的U-Net网络高分影像道路提取.pdf
《融合残差和卷积注意力机制的U-Net网络高分影像道路提取.pdf》由会员分享,可在线阅读,更多相关《融合残差和卷积注意力机制的U-Net网络高分影像道路提取.pdf(14页珍藏版)》请在咨信网上搜索。
1、第 44 卷 第 3 期航天返回与遥感 2023 年 6 月 SPACECRAFT RECOVERY&REMOTE SENSING 119 收稿日期:2022-09-26 基金项目:国家自然科学基金(41701464);中国科学院战略性先导科技专项子课题(XDA2806020101);贵州大学培育项目(贵大培育2019 26 号)引用格式:张亚宁,张春亢,王朝,等.融合残差和卷积注意力机制的 U-Net 网络高分影像道路提取J.航天返回与遥感,2023,44(3):119-132.ZHANG Yaning,ZHANG Chunkang,WANG Chao,et al.Road Extracti
2、on Method of High-Resolution Image Based on U-Net Network Combining Residual and Convolution Attention MechanismJ.Spacecraft Recovery&Remote Sensing,2023,44(3):119-132.(in Chinese)融合残差和卷积注意力机制的 U-Net 网络 高分影像道路提取 张亚宁 张春亢 王朝 游晨宇(贵州大学矿业学院,贵阳 550025)摘 要 针对在高分辨率遥感影像中因道路特征模糊或“同谱异物”现象影响,出现局部道路提取缺失和提取错误的问题,
3、提出一种融合残差和卷积注意力机制的 U-Net 网络高分影像道路提取方法。首先,以 U-Net 网络为基础,加入改进的残差模块缓解网络训练过程中易出现的网络性能退化问题;然后,嵌入卷积注意力机制模块加强对道路细节特征的深度表征能力;最后通过几何变换对数据集进行合理扩充,增强网络泛化能力。在公开数据集马塞诸塞州数据集(Massachusetts Roads Dataset)和 DeepGlobe道路数据集上对模型进行测试,实验结果表明:文章提出的方法在两个数据集上整体精度分别达到97.02%和 98.26%,相比其他模型具有更好的提取效果,对道路特征的深度表征性更强,抗干扰性较好,有效改善了道路
4、提取中出现的错提、漏提现象,显著提高了道路提取的精度和完整性。关键词 道路提取 残差模块 卷积注意力机制 高分辨率遥感影像 中图分类号:P237 文献标志码:A 文章编号:1009-8518(2023)03-0119-14 DOI:10.3969/j.issn.1009-8518.2023.03.013 Road Extraction Method of High-Resolution Image Based on U-Net Network Combining Residual and Convolution Attention Mechanism ZHANG Yaning ZHANG Ch
5、unkang WANG Chao YOU Chenyu(College of Mining,Guizhou University,Guiyang 550025,China)Abstract Aiming at the problems of missing local road extraction and wrong extraction due to the blurring of road features or the phenomenon of same-spectrum foreign objects in high-resolution remote sensing images
6、,this paper proposes an improved method for road extraction from high-resolution remote sensing images,which is based on U-Net combining residual and convolutional attention mechanism.Firstly,based on the U-Net network,an improved residual module is added to alleviate the problem of network performa
7、nce degradation that is easy to occur during network training.Secondly,the convolutional attention mechanism module is embedded to enhance the deep representation of road details.Finally,the data set is reasonably expanded through geometric transformation to enhance network generalization ability.Th
8、e model is tested on the public datasets Massachusetts roads and DeepGlobe road datasets,and the experimental results show that the overall accuracy of the method 120 航 天 返 回 与 遥 感 2023 年第 44 卷 proposed in this paper reaches 97.02%and 98.26%respectively on the two datasets.Compared with other models
9、,it has a better extraction effect,and has a stronger deep representation of road features and better anti-interference performance,which can effectively improve the problems of wrong and missing extraction phenomenon in road extraction,and significantly improve the accuracy and integrity of road ex
10、traction.Keywords road extraction;residual module;convolutional attention mechanism;high-resolution remote sensing images 0 引言 道路作为重要的基础地理信息要素,其分布错综复杂,建设范围较广,及时更新道路分布信息是地理信息数据库建设的重要基础,因此从高分辨率遥感影像中实现对道路的精准提取成为近些年国内外学者的研究热点。以道路提取层次的推进为分类依据,一般将道路提取方法分为三类1:1)基于像元的道路提取方法。该类方法主要利用道路的波谱特征对道路信息进行提取。如罗庆洲等将道路
11、的光谱特征与几何特征相结合实现了对道路的提取2;罗巍等利用角度纹理特征结合最小方差方向对城市主干道路进行提取3;Sghaier 等通过基于小束变换的纹理分析和多尺度推理有效提取出道路4。该类方法对道路分布稀疏、背景单一、图像清晰的高分辨率遥感影像适用性较强,但在道路特征不明显的复杂场景下或受其他地物干扰情况下提取精度较低。2)基于对象的道路提取方法。该类方法主要将遥感图像中的道路视为整体,对其进行小面积分割,然后以小面积为单位再进行道路提取。如陈杰等提出结合尺度空间思想利用分水岭算法和形态学的方法对道路信息进行提取5;Guo 等将形状特征与构造的随机森林标记学习分类器得到的后验概率相结合,利用
12、张量投票法得到道路中心线6;林鹏等提出利用复合向量机结合形态学进行城镇道路自动提取7;汪闽等提出结合马尔科夫随机场模型结合支持向量机进行道路网提取8。该类方法适合于背景地物多样且特征明显的类型单一化道路的遥感图像,而对特征信息相似的各类地物易发生混分或粘连现象。3)基于深度学习的道路提取方法。该类方法具有较强的学习能力能够高效地表达地物特征,有效辨别出道路区域和非道路区域。如 Zhou 等提出以 LinkNet 网络9为主干结合扩张卷积层的方法对道路信息进行提取10;Lin 等提出改进的深度残差卷积神经网络模型(RDRCNN),其结合剩余连接单元(RCU)和扩展感知单元(DPU)来获取道路信息
13、11;马天浩等提出以多尺度特征融合膨胀卷积神经网络的方法获得道路信息12。该类方法适合于背景地物类型多样,特征相似且道路分布复杂的遥感影像,但其提取结果仍会出现道路断裂和毛刺现象,精确度有待于进一步提升。为了进一步提升高分辨率遥感影像道路提取和分割的精度,近年来,众多学者从深度学习角度出发,不断探究和改进模型结构,其中 U-Net 网络13结构融合了深层特征的语义信息和底层的位置信息,可以在浅层特征和深层特征之间自由选择,对语义分割具有较强的优势,在图像分割领域被广泛应用。如 Ren等提出一种融合胶囊表征和注意力机制的双注意胶囊 U-Net(DA-CapsUNet)对道路区域进行提取14;孔嘉
14、嫄等将 U-Net 网络结构加深至七层,加入多维度监督机制(MD-MECA)达到优化目的,并利用激活失活模块(DropBlock)和批归一化(Batch Normalization)层,有效地解决了道路提取中出现的过拟合问题15。但以上方法在道路边缘地物特征模糊处仍会发生提取缺失的现象。本文针对道路提取过程中因道路特征模糊或“同谱异物”现象影响,易出现的局部道路提取缺失和提取错误等问题,提出一种融合残差和卷积注意力机制的 U-Net 网络高分影像道路提取方法。该方法以U-Net 网络模型为基础框架,加入改进的残差模块即将原本残差模块中的 Relu 激活函数16改为 Mish 激活函数17缓减梯
15、度消失,防止随着网络层数增加易产生的性能退化问题,并嵌入卷积注意力机制加强对 第 3 期 张亚宁 等:融合残差和卷积注意力机制的 U-Net 网络高分影像道路提取 121 道路细节特征的深度表征能力,抑制非道路信息。改进后的模型可以更深层次地提取到道路细节特征,无论对浅层纹理特征还是多尺度特征都有更精确化地表达,最后将本文算法与 FCN18、PSPNet19、Deeplabv3+20、CE-Net21和 U-Net 网络算法进行比较,有效地改善了提取中易出现的错提、漏提现象。1 网络结构 1.1 U-Net 网络结构 U-Net 网络是一款专为生物医学图像分割而开发的卷积神经网络,采用经典的编
16、码器-解码器结构和跳跃连接方式,如图 1 所示。U-Net 网络由一个获取全局信息的收缩编码路径和一个与其对称的用于精确定位的扩展解码路径组成,可以将浅层的定位信息和高层的像素分类判定信息相融合,从而得到更佳的定位效果。收缩路径采用典型的卷积神经网络,每个特征尺度采用 33 卷积运算,然后用 22 的最大池化做降采样(步长为 2),每次降采样的特征通道数都会增加一倍。扩展路径采用 22 的反卷积,每次反卷积的特征通道数减少一半,与同尺度的降采样部分的特征图直接拼接,然后再经过两个 33 的卷积层,最后通过 11 卷积运算完成操作,将特征图映射到实际需要的分类数目的通道数,进而达到最佳的分割结果
17、。图 1 U-Net 网络结构 Fig.1 U-Net network structure 1.2 改进的残差模块 在深度学习训练过程中随着网络深度的增加,训练难度逐渐变大,易出现网络性能退化问题。U-Net网络在压缩降维和扩展路径过程中,通过多次复杂的连续卷积和池化运算,像素间关系的计算难度增大,122 航 天 返 回 与 遥 感 2023 年第 44 卷 网络承载信息量能力不足导致网络抖动,精度容易达到饱和,产生网络性能退化问题,训练精度也会随之迅速下降。He 等针对网络模型层数加深时,堆叠层引起的网络性能退化问题,提出了残差结构模块22,如图 2 所示,图 2 中 x 表示输入值,F(x
18、)表示残差值,F(x)+x 表示学习到的特征值,该结构通过“便捷连接”有效预防梯度消失或梯度爆炸现象的产生,可加快网络的收敛速度。通常为了使网络模型能够学习到更深层次图像特征,网络层数在逐渐加深过程中会产生冗余层,通过残差学习结构使残差值 F(x)=0 让该层网络恒等映射到上一层的输入,可规避网络性能退化问题,并且不会增加模型的参数复杂度,避免模型在学习过程中训练误差变大,特征信息提取能力下降这一问题。激活函数的主要作用是完成对传输数据的非线性变换,提高线性模型的表达能力,解决模型分类能力不足的问题。在残差结构模块中,当负梯度流经过 ReLU激活函数时,输出值为 0,产生梯度消失,降低模型对数
19、据正确拟合能力或训练能力。为了解决梯度消失问题,本文根据 YOLO v4 算法23主干的结构组成,将残差网络中的 ReLU 函数替换成 Mish 函数,两种激活函数的比较如图 3 所示,图 3 中 x 表示输入值,y 表示对应的输出值。Mish 函数具有连续可导性,是一种光滑的自正则非单调激活函数,其非单调性有助于保持小的负值,从而稳定网络梯度流,缓减梯度消失问题,稳定结构;无穷连续性和光滑性使其具有较好的泛化能力和有效优化能力。改进后的残差模块如图 4 所示,由 33 卷积层、数据批归一化层(BN)以及 Mish 激活函数组成。1.3 卷积注意力机制 注意力机制核心作用是有效捕捉图像中重点区
20、域细节特征,强化关键特征信息量的语义表达,忽略无关特征。在 U-Net 网络图像处理传输过程中,嵌入卷积注意力机制(CBAM)24模块可自适应地细化跳跃连接阶段的特征映射,增强对编码区特征信息传输过程中浅层道路细节纹理特征的提取能力,有利于模型对道路特征信息的深度表征,而对其他特征信息进行抑制,使解码区对道路特征信息的提取具有更强的针对性,在传递到解码区的过程中,可以更好地完成对道路边缘处细小道路的分割细化能力。CBAM 模块的特征学习过程如图 5 图 2 残差结构 Fig.2 Residual structure 图 3 激活函数比较 Fig.3 Activation Function Co
21、mparison Diagram 图 4 改进的残差结构 Fig.4 Improved Residual Structure 第 3 期 张亚宁 等:融合残差和卷积注意力机制的 U-Net 网络高分影像道路提取 123 所示,主要通过通道注意力机制和空间注意力机制两个子模块协同作用,帮助信息在网络中流动,完成整个学习过程。图 5 卷积注意力机制 Fig.5 Convolution attention mechanism 通道注意力机制模块将注意力集中在有意义的给定输入图像,其操作过程如图 6 所示。对输入的特征图 FC H WR,表示通道数为 C 的每个通道中输入特征图的宽度为 W,长度为 H
22、,将输入图像分别进行全局平均池化和最大池化操作来聚合特征的空间信息,从而得到两个不同的空间特征信息图avgF和maxF,然后将这两个一维特征图在每个通道进行特征聚合,经过多层感知机(MLP)将学习到每个通道的权重分布信息,再经过全连接层得到经过通道注意力加权后的特征图1 1Cc MR,此时的特征图经过重新的权重分配,感受野扩大,语义细化分割能力更强,有助于对道路边缘特征信息的提取。计算过程如下 10avg10max()()()cW WW W=+MFF(1)式中 表示 Sigmoid 激活函数;/0C r CWR;/1C C rWR;r 表示衰减率;0W和1W分别对应经过多层感知机的权重。图 6
23、 通道注意力机制 Fig.6 Channel attention mechanism 空间注意力机制模块侧重于关注给定输入图像的空间位置信息,与通道注意力机制形成互补关系,其操作过程如图 7 所示。对给定特征图FC H WR,进行全局平均池化和最大池化操作压缩通道维度信息,生成两个二维映射特征图avgF1H WR和maxF1H WR,将其进行拼接,然后通过卷积核大小为77 的卷积运算,生成二维空间注意力图1sH WMR,此时的特征图经过最终的权重分配,集中于道路边缘位置信息,提高了对边缘细节信息的提取能力。其计算过程如下 7 7savgmax(AvgPool();MaxPool()()f=+M
24、FFFF(2)式中 AvgPool 表示平均池化;Maxpool 表示最大池化;7 7f表示滤波器大小为77的卷积运算。124 航 天 返 回 与 遥 感 2023 年第 44 卷 图 7 空间注意力机制 Fig.7 Spatial attention mechanism 1.4 融合后整体网络结构 本文实验的网络结构如图 8 所示,在 U-Net 网络编码区和解码区每两个相邻的 33 卷积层中间加入改进的残差模块,可避免卷积层连续堆叠的复杂计算造成像素区域信息丢失,同时增加网络深度,使其可以学习到更多深层次的特征信息,有效防止训练过程中随着网络层数深度的增加,精度达到饱和,引起的网络性能退化
25、的问题。为使道路边缘细节特征提取尽量完整,在跳跃连接阶段嵌入卷积注意力机制模块可以将编码区的浅层道路纹理特征进一步准确分割,实现道路特征信息的深度表征能力,有效抑制非道路信息的表达。图 8 融合后整体网络结构 Fig.8 Integrated network structure 2 实验与评价指标 2.1 实验数据集及预处理 本文采用的实验数据集为公开数据集马萨诸塞州道路数据集(Massachusetts Roads Dataset)和DeepGlobe 卫星数据集25。Massachusetts Roads 数据集中包含了波士顿地区的城市、乡村、城乡结合部 第 3 期 张亚宁 等:融合残差和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 卷积 注意力 机制 Net 网络 高分 影像 道路 提取
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。