基于多尺度特征融合的遥感图像建筑物提取算法研究.pdf
《基于多尺度特征融合的遥感图像建筑物提取算法研究.pdf》由会员分享,可在线阅读,更多相关《基于多尺度特征融合的遥感图像建筑物提取算法研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:基金项目:山西省交通建设科技项目()T h i sw o r kw a ss u p p o r t e db yt h eT r a n s p o r t a t i o nC o n s t r u c t i o nS c i e n c ea n dT e c h n o l o g yP r o j e c t i nS h a n x iP r o v i n c e()通信作者:岳雪燕(y u e s u p c e d u c n)基于多尺度特征融合的遥感图像建筑物提
2、取算法研究陈国军岳雪燕朱燕宁付云鹏中国石油大学(华东)计算机科学与技术学院山东 青岛 (q q c o m)摘要由于高分辨率遥感图像中的建筑物尺寸多样,且背景复杂,因此在对遥感图像中的建筑物进行提取时,往往存在细节丢失、边缘模糊等问题,从而影响模型的分割精度.为了解决这些问题,提出了具有空间和语义信息的双分支架构网络B N e t.首先,在语义信息分支上建立交叉特征融合模块,充分捕获上下文信息,以聚合更多的多尺度语义特征;其次,在空间信息分支上将空洞卷积和深度可分离卷积进行组合,提取图像的多尺度空间特征,并通过优化膨胀率扩大网络的感受野;最后,构建内容感知注意力模块,对图像中的高频和低频内容进
3、行自适应选择,以达到细化建筑物分割边缘的效果.在两个建筑物数据集上对B N e t进行训练与测试.在WHU数据集上,与基线模型相比,B N e t在精度、召回率、F 分数以及交并比上皆达到了最佳效果,分别为 ,;在M a s s a c h u s e t t s建筑物数据集上,个指标比B i S e N e t分别提高了,.实验结果证明,B N e t可以更好地捕获空间细节信息和高级语义信息,提高了复杂背景下的建筑物进行分割精度,满足了对建筑物快速提取的需求.关键词:建筑物提取;特征融合;空洞卷积;深度可分离卷积;内容感知注意力中图法分类号T P S t u d yo nB u i l d
4、i n gE x t r a c t i o nA l g o r i t h mo fR e m o t eS e n s i n gI m a g eB a s e do nM u l t i s c a l eF e a t u r eF u s i o nCHE NG u o j u n,YU EX u e y a n,Z HU Y a n n i n ga n dF U Y u n p e n gC o l l e g eo fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,C h i n aU n i v e r s i t
5、 yo fP e t r o l e u m(E a s tC h i n a),Q i n g d a o,S h a n d o n g ,C h i n aA b s t r a c t B e c a u s eo f t h ev a r i o u s s i z e o f b u i l d i n g s a n dc o m p l i c a t e db a c k g r o u n d i nh i g h r e s o l u t i o n r e m o t e s e n s i n g i m a g e s,t h e r e a r es o m e
6、p r o b l e m ss u c ha s l o s so fd e t a i l sa n db l u r r i n go f e d g e sw h e ne x t r a c t i n gb u i l d i n g s i nr e m o t es e n s i n g i m a g e s,w h i c ha f f e c t t h es e g m e n t a t i o na c c u r a c yo ft h em o d e l I no r d e rt os o l v et h e s ep r o b l e m s,t h
7、 i sp a p e rp r o p o s e sat w o b r a n c ha r c h i t e c t u r en e t w o r kB N e tw i t hs p a t i a l a n ds e m a n t i c i n f o r m a t i o nb r a n c h e s F i r s t l y,t h ec r o s s f e a t u r e f u s i o nm o d u l e i sp r o v i d e di nt h es e m a n t i c i n f o r m a t i o nb r
8、 a n c ht of u l l yc a p t u r et h ec o n t e x t i n f o r m a t i o nt oa g g r e g a t em o r em u l t i s c a l es e m a n t i cf e a t u r e s S e c o n d l y,i nt h es p a t i a lb r a n c h,w ec o m b i n e t h ea t r o u sc o n v o l u t i o na n dd e p t h w i s es e p a r a b l ec o n v
9、o l u t i o nt oe x t r a c t t h em u l t i s c a l es p a t i a l f e a t u r e so f t h ei m a g e,a n do p t i m i z e t h ed i l a t e dr a t e t oe x p a n d t h e r e c e p t i v e f i e l d F i n a l l y,w eu s e t h e c o n t e n t a w a r e a t t e n t i o nm o d u l e t oa d a p t i v e l
10、 ys e l e c t t h eh i g h f r e q u e n c ya n d l o w f r e q u e n c yc o n t e n t i nt h e i m a g e t oa c h i e v e t h ee f f e c t o f r e f i n i n gt h ee d g e so fb u i l d i n gs e g m e n t a t i o n W e t r a i na n dt e s t t h eB N e to nt w ob u i l d i n gd a t a s e t s O nt h e
11、WHUd a t a s e t,c o m p a r e dw i t ht h eb a s e l i n em o d e l,t h eB N e ta c h i e v e s t h eb e s t r e s u l t i np r e c i s i o n,r e c a l l,F s c o r ea n dI o U,w h i c hi s ,a n d ,r e s p e c t i v e l y O nt h eM a s s a c h u s e t t sb u i l d i n gd a t a s e t,t h e f o u r i
12、n d i c a t o r sa r e,a n d h i g h e r t h a nB i S e N e t,r e s p e c t i v e l y E x p e r i m e n t ss h o wt h a tB N e t c a nb e t t e rc a p t u r es p a t i a l d e t a i l a n dh i g h l e v e l s e m a n t i c i n f o r m a t i o n,i m p r o v e t h es e g m e n t a t i o na c c u r a c
13、 yo fb u i l d i n g s i nc o m p l i c a t e db a c k g r o u n d s,a n dm e e t t h en e e d so f r a p i de x t r a c t i o no fb u i l d i n g s K e y w o r d s B u i l d i n ge x t r a c t i o n,F e a t u r e f u s i o n,A t r o u sc o n v o l u t i o n,D e p t h w i s es e p a r a b l ec o n v
14、 o l u t i o n,C o n t e n t a w a r ea t t e n t i o n引言遥感图像的语义分割已得到广泛的应用,如道路检测、土地覆盖物分类、建筑物提取等.其中,建筑物提取作为遥感图像语义分割的一个重要应用,目的是识别出环境中属于建筑的像素,在遥感研究中具有重要意义.随着遥感图像采集技术的不断发展,遥感图像的分辨率不断提升,并且地面采样距离也不断增大,采集到的图像通常包含了丰富的土地覆盖信息和复杂的环境背景,使得遥感影像具有类内方差大、类间差异小的特性,进一步增加了在遥感图像中提取建筑物的难度.传统的建筑物提取方法主要采用手工特征作为提取建筑物的关键特征,如
15、局部结构(边、线、角)、阴 影、纹 理 特征和遥感影像多光谱特征等.将这些特征与支持向量机和遗传算法相结合,对建筑物进行检测和分类.但是这类方法的性能依赖手工特征的提取,不能应用于大规模数据集,无法满足当前实际应用的需求.随着深度学习的发展,卷积神经网络在计算机视觉领域表现出了优异的性能.L o n g等提出了全卷积网络(F u l l yC o n v o l u t i o n a lN e t w o r k,F C N),去除了全连接层,提升了分割的效率,降低了模型复杂度;U N e t提出了基于跳层连接的编解码结构,较好地改善了目标边界分割效果较差的问题,在小样本数据集中取得了不错的
16、效果.但是其跳层连接和特征融合模块对高层语义信息与低层信息进行了平等处理,不能很好地提取出具有较强语义性的特征,在大型数据集上特征表达能力受限(提取较小建筑和细化建筑边界能力欠缺).为了更好地解决这个问题,D e e p L a b 提出了空洞空间池化金字塔(A t r o u sS p a t i a lP y r a m i dP o o l i n g,A S P P),通过多个具有不同膨胀率的空洞卷积并行分支来提取不同尺度的上下文信息,并结合全局上下文融合模块来进一步提高模型的表征能力.但是其在处理大量高分辨率特征图时,会占用大量内存,阻碍了对高分辨率图像的研究.遥感图像中的建筑物在不
17、同地区差异较大,例如建筑物的大小不一、建筑物群的疏密程度不同等,这就要求模型提取的信息中包含更多的多尺度信息(其中低级特征包含丰富的空间信息,高级特征包含丰富的语义信息)和局部信息.对于多尺度特征融合,MF R N 是直接将相邻层级的特征进行拼接;L i n k N e t则是直接进行特征的相加.虽然这些设计可以从低级特征中聚合空间信息,但也引入了低层冗余信息(次要细节和噪声).因此,如何进行高效的融合是改善分割模型的关键.注意力机制 是一种用于提取局部信息的有效方法,如B AM,C B AM,s c S E 和C o o r d A t t e n t i o n 等.在遥感图像的处理中,L
18、 i等 以及X u等 借鉴注意力思想使得模型的分割精度有所提升,但模型的训练参数量剧增,整体的训练时间增加.同时大部分注意力机制中的下采样层会加重分割边缘的锯齿现象,而边缘分割的效果则会直接影响建筑物提取的准确性,因此如何更好地分割建筑物边缘也是建筑提取任务的核心问题.本文的主要贡献如下:)引入空间卷积金字塔模块(S p a t i a lC o n v o l u t i o nP y r a m i d,S C P),提出深度空洞可分离卷积块(D e p t h w i s eA t r o u sS e p a r a b l eC o n v o l u t i o nB l o c
19、k,D A S),利用具有不同膨胀率的并行D A S卷积块,结合深度可分离卷积和空洞卷积的优势,在降低模型参数量的同时扩大了感受野,以捕获丰富的多尺度信息.)提 出 了 交 叉 特 征 融 合 模 块(C r o s sF e a t u r eF u s i o n,C FM),采用选择性融合策略,使得重要特征之间相互补充,抑制冗余信息,避免特征间的污染.)提出了内容感知注意力模块(C o n t e n tAw a r eA t t e n t i o n,C AA),细化每个阶段的特征,并利用自适应的低通滤波优化边缘锯齿.)提出了以B i S e N e t轻量化模型为基础的B N e
20、t网络结构,实验在WHU数据集和马萨诸塞州建筑物数据集(M a s s a c h u s e t t sB u i l d i n gD a t a s e t,M a s s a)上有优异的表现,展示了模型良好的泛化能力.网络结构如图所示,本文提出了以B i S e N e t 轻量化网络结构为基础的B N e t,B N e t基于双分支结构,分为空间信息分支和语义信息分支,前者用于提取空间信息,后者用于提取生成的语义信息,将两者的特征进行融合后得到最终的分割结果.图B N e t网络的结构图F i g N e t w o r ks t r u c t u r ed i a g r a
21、mo fB N e t空间信息分支空间信息 分 支 由 普 通 卷 积 层 和 空 间 卷 积 金 字 塔 模 块(S C P)组成,通过这个分支可以得到一个粗糙的分割结果.该分支首先通过三层步长为的卷积进行空间细节信息的提取,将特征图尺寸缩小至原始图像的/,然后应用S C P模块进行空间上的多尺度特征提取,每个D A S具有不同的膨胀率,最终可以得到蕴含丰富空间信息的特征图.受A S P P 的启发,本文提出了S C P模块,用于捕获多尺度信息.空洞卷积 可以在不增加参数和不降低分辨率的前提下有效地扩大感受野.如图所示,图(a)为的普通卷积;图(b)为膨胀率为的空洞卷积,其感受野与的卷积相同
22、;图(c)为膨胀率为的空洞卷积,感受野为大小,因此可 以 通 过 设 置 不 同 膨 胀 率,来 得 到 不 同陈国军,等:基于多尺度特征融合的遥感图像建筑物提取算法研究感受野,以获取多尺度建筑物的空间信息.但是由于空洞卷积的网格效应,进行多次叠加之后部分像素并没有参与计算,这就会丢失信息的连续性.因此,本文采用深度可分离卷积 和空洞卷积结合的方式,在提升性能的同时也可以获得较大的感受野.(a)膨胀率(b)膨胀率(c)膨胀率图空洞卷积在不同膨胀率下的结构图F i g S t r u c t u r ed i a g r a mo f a t r o u sc o n v o l u t i o
23、 na td i f f e r e n te x p a n s i o nr a t e s如图所示,S C P模块由个D A S卷积块并行组成,其中每个D A S卷积块的膨胀率为i,i,n.首先,它将输入特征图的通道数压缩为原来的/,然后将D A S卷积块的并行结构用于降维后的特征图.最后,将各个分支的输出进行融合之后与最初的输入特征图进行跳层连接,以突出不同尺度目标的空间细节特征,让模型更好地学习这些特征,提高模型对多尺度建筑物特征提取的能力.图S C P模块的结构图F i g S t r u c t u r ed i a g r a mo fS C Pm o d u l eD A S
24、卷积块(见图)是在空洞卷积之前利用深度卷积进行局部特征的聚合,使得特征图中的每个像素点蕴含其邻域信息.但是简单地将空洞卷积和深度卷积进行组合仍然会忽略大量相邻像素点的信息,对模型的精度也会有所影响,因此D A S卷积块使用两个深度上不对称的卷积来聚合更多的局部信息,以减少特征信息的损失.由于深度卷积没有融合通道间的信息,因此D A S卷积块在最后使用的点卷积 来混合不同通道的信息.D A S卷积块通过聚合局部和全局信息,加强了模型的特征提取能力.A S P P模块中空洞卷积的膨胀率为,但在本文的网络结构中,随着空间信息分支对特征的不断提取,特征图的分辨率会逐渐降低,上述组合则不能有效地提取多分
25、辨率特征图的特征.较大的膨胀率会导致模型欠缺分割小建筑物的能力,从而减弱网络分割多尺度建筑物的能力.为了更有效地提取多分辨率特征图的特征,提高网络提取不同大小建筑物的能力,D A S卷积块的膨胀率设为i,i,n,使不同大小膨胀率的卷积核能捕获多尺度建筑物的信息,不同层级的膨胀率可以有效地提高模型提取多尺度建筑物的能力.图D A S卷积块的结构图F i g S t r u c t u r ed i a g r a mo fD A Sc o n v o l u t i o nb l o c k语义信息分支当空间信息分支捕获了丰富的空间信息时,语义信息分支则利用上下文信息,预测出精细的分割边界.首先
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 特征 融合 遥感 图像 建筑物 提取 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。