一种用于遥感图像变化检测的级联跨尺度网络_刘双泽.pdf
《一种用于遥感图像变化检测的级联跨尺度网络_刘双泽.pdf》由会员分享,可在线阅读,更多相关《一种用于遥感图像变化检测的级联跨尺度网络_刘双泽.pdf(6页珍藏版)》请在咨信网上搜索。
1、在遥感图像变化检测中,由于深度学习模型没能充分利用多尺度特征,忽略不同尺度间的语义差距,从而导致伪变化;其次,由于成像角度不同、大气环境复杂、季节四季交替等因素也会所引起的伪变化问题,提出一种用于遥感图像变化检测的级联跨尺度网络,该网络设计了一种级联连接将浅层和深层特征图一起馈送到解码器中,以消除不同尺度间的语义差距;提出了一种跨尺度注意力模块来融合浅层和深层特征图中与变化信息一致的语义信息,以提高对伪变化的鲁棒性。在公开的变化检测数据集(LE-VI CD)上进行了评估。实验结果表明:所提出的方法在性能上明显优于现有的最先进方法。关键词:变化检测,伪变化,级联跨尺度中图分类号:H313文献标志
2、码:AA Cascade Cross scale Network for emote SensingImage Change DetectionLIU Shuang ze,XUE Ming liang(School of Computer Science and Engineering,Dalian Minzu University,Dalian Liaoning 116650,China)Abstract:In remote sensing image change detection,the deep learning model fails to make fulluse of mult
3、i scale features and ignores the semantic gap between different scales,which leadsto pseudo changes Different imaging angles,complex atmospheric environments,seasonal al-ternations and other factors will also cause pseudo changes To solve the pseudo change prob-lem,a cascade cross scale network(CCSN
4、et)for remote sensing image change detection isproposed in this paper We design a cascade structure,which can feed shallow and deep featuremaps together into the decoder to eliminate semantic differences between different scales In ad-dition,a cross scale attention module(CSAM)is proposed to effecti
5、vely integrate the consist-ent semantic information in both shallow and deep feature maps to enhance the robustness againstpseudo changes The proposed method is evaluated on the public change detection dataset(LE-VI CD),and the experimental results show that the proposed method significantly outper-
6、forms the existing state of the art methods in performanceKey words:change detection;pseudo change;cascade cross scale变化检测1 作为遥感领域的重要组成部分,是从同一位置不同时刻获取的两幅遥感图像之间,通过一系列的方法提取出自然或人工变化区域的过程。变化检测在众多领域都有着重要的应DOI:10.13744/21-1431/g4.2023.03.011用,例如在城市规划2、土地调查3、灾害评估4 和生态环境监测5 等方面。随着越来越多的高分卫星发射到太空,使得具有更高分辨率的遥感
7、图像获取变得更加容易,因此具有高分辨率遥感图像数据集。在这种情况下,寻求新的方法以解决上述问题受到了越来越多研究者的关注,并取得了许多令人瞩目的成果。由于深度学习模型强大的图像处理能力,许多学者将深度学习方法引入遥感图像变化检测领域。因此,近年来涌现了许多基于深度学习的变化检测方法。Song 等人6 设计了一种结合 3D 全卷积网络和卷积短时长记忆的优点的变化检测方法,名为循环 3D 全卷积网络。Liu 等人7 提出了一个新的损失函数来实现由语义分割数据集到变化检测数据集之间的迁移学习。这种方法可以缓解变化检测数据集中带注释的训练样本不足的问题。Chen 等人8 提出了一种基于 transfo
8、rmer 的变化检测模型,它可以通过对时空域内的上下文进行建模,来关联时空中的远程概念。该方法可以有效避免因物体外观相似而导致的误检测,并能很好地处理因季节差异或土地覆被变化引起的无关变化。然而,目前在处理变化检测中伪变化现象仍存在一些问题。一方面,目前的方法大多没有充分利用不同尺度提取的特征,忽略了不同层特征之间的语义差距,这可能会由于特征的冗余和模糊性而导致伪变化问题。其次,由于成像角度、天气状况、季节变化以及外观非常混乱的物体等原因造成的伪变化仍然难以区分。为此本文设计了一种级联跨尺度网络(Cascaded Cross Scale Network,CCSNet)来提高模型对伪变化的鲁棒性
9、。本文设计了一种级联连接结构来融合不同尺度的特征,缩小了语义差距。本文提出了一种注意力模块,跨尺度注意模块,来提高特征的辨别能力。CCSNet 通过将多尺度特征融合起来,然后使用注意力机制来增强与变化相关语义信息一致的区域,并抑制各种因素引起的虚假变化和噪声,从而达到减少由各种因素而导致的伪变化。1CCSNet 网络算法CCSNet 网络使用的是编码器和解码器结构,整体流程如图 1。在编码阶段,将双时态图像输入到卷积池化层中,对图像进行缩放,减少计算内存。然后输入到 4 层的编码器中进行降采样。通过权值共享的孪生编码器编码,得到 5 个不同阶段的输出特征图。在解码阶段,首先把同一阶段的两个特征
10、图进行差分操作来得到差分特征图。其次把编码器 4 的差值特征图和编码器 3 的差值特征图使用级联连接一起输入到解码器 4 中进行解码,之后重复上一步的操作。经过层层解码,最后把解码器 1 的输出特征图传递给最终块,得到最终的变化检测图。图 1CCSNet 网络整体架构1 1编码器卷积神经网络因其强大的特征提取能力而被广泛应用于遥感图像分析。在编码阶段,使用esNet 34 来构建编码器网络。由于变化检测的输入通常是双时相图像,所以编码器网络采用孪生网络结构。具体来说,编码器网络由两个共享可学习权值的编码分支组成。由于 esNet 最初是为了解决图像分类问题而提出的,其整体结构可以分为一个卷积池
11、化层、四个降采样卷积层和一个全连接层。但是,最终的变化映射必须恢复到与原始图像完全相同的大小。因此,省略了全连接层。1 2解码器在解码阶段,所提出的结构由四个解码器和一个最终块组成,它们对应于四个编码器和卷积池化层。具体来说,四个解码器具有相同的结构,如图 2。该解码器包含一个跨尺度注意模块(Cross Scale Attention Module,CSAM)和两个1 1卷积层。所提出的解码体系结构有不同的实现方式。具体来说,将两个不同尺度的连接特征图使用级联连接输入给一个解码器。例如,将编码器 4(深特征)和编码器 3(浅特征)提取的特征输入到解码器 4 中进行进一步学习。这种方式可以更好地
12、融合浅层特征的空间信息和深度特征的语义信息,以补偿特征编码过程中衰落的几何信息,这是检测变化区域的关键。此外,还可以缩小662大连民族大学学报第 25 卷语义差异,并关注与变化信息相关的特征映射区域。因此,得到的最终特征图可以整合不同尺度的特征。解码阶段的最后一部分是最终块。跨尺度注意力模块的整体结构如图 2。它由一个 4 倍的上采样层和两个 3 3 的卷积层组成。它的功能是最终的变化图恢复到与原图像完全相同的大小。图 2跨尺度注意力模块的整体结构1 3跨尺度注意力模块将不同编码层获得的浅层与深层特征图融合,有助于恢复在级联特征编码过程中逐渐消失的空间信息。然而,由于多尺度特征之间存在语义差距
13、,不适当的融合可能会引入冗余信息或噪声。它可能会导致过度的分割和意外的模糊表示,这可能会分散模型来区分由于成像角度、天气条件、季节变化和外观非常混乱的物体而引起的伪变化。为了缩小多尺度特征之间的语义差异,使模型对伪变化更具鲁棒性,设计了一个级联跨尺度注意力模块(Cross Scale Attention Module,CSAM)如图 3。CSAM 通过通道注意力和空间注意力来融合多尺度特征图。通道注意力可以有效地学习与不同尺度的特征图之间的变化相关的通道,而空间注意力则可以帮助学习已经发生变化的区域。由通道和空间注意力模块学习到的特征图然后被自注意力模块融合,以捕获不同像素之间的依赖关系。CS
14、AM 可以更好地融合浅层和深层特征图与变化信息相关的信息,抑制由各种因素而导致的伪变化信息。通常来说,特征图中的每个通道的重要程度是相同。但是,对于特定任务来说不同通道的重要性是有所不同的,往往需要对每个通道的重要性进行建模来达到增强或抑制一些通道。在本文中,通道注意力模块(Channel Attention Module,CAM)所采用的是 SENet9。它首先使用压缩模块对特征图进行全局信息嵌入,然后使用激励模块进行通道关系加权。在变化检测任务中,通道注意力增强与地面特征变化相关的通道,抑制其他不相关的通道。因此,首先使用通道注意力减少浅层特征图和深层特征图之间的语义差距,增强它们之间与变
15、化相关的语义信息。在计算机视觉任务中,图像像素点的识别需要考虑它所在的空间位置。换句话说,不同的像素位置的重要程度是有所区别的。考虑到遥感图像中像素位置的重要程度不同,所以引入空间注意力模块(Spatial Attention Module,SAM)10。因为变化检测的输入为双时态图像,所以为了确认双时态图像的那些像素位置与变化相关,那些像素位置与变化无关,这是十分有意义的。而空间注意力可以增加变化像素和不变像素之间的距离差,从而选择对变化信息更敏感的像素位置。与通道和空间注意力模块不同,自注意力模块(Self Attention Module,Self AM)旨在捕获特征图任意两个位置之间的
16、空间依赖关系。它通过对特征图之间的任意两点之间的关系进行建模,来选择性地聚合每个位置的特征。为了更好地识别那两个像素之间位置关系对变化信息更重要,采纳 Chen 等人提出的位置注意模块11。2实验为了评估本模型对伪变化的有效性,本文在LEVI CD 数据集进行了对比实验,并使用精度(Precision)、召回率(ecall)、F1 值(F1)、交并比(IoU)和总准确率(OA)作为评估模型的指标。本文将所提出的网络与现有先进的变化检测进行对比实验,并进行了可视化比较,从而进一步验证模型对伪变化的性能。2 1数据集及实验环境LEVI CD12 是一个被广泛使用的建筑物变化检测数据集。总有 637
17、 对分辨率为 0 5 m 遥感图像。其中每张图像的大小为 1 024 1 024 像素。该数据集中的双时间图像是使用谷歌 EarthAPI 在 2002 年至 2018 年期间从美国德克萨斯州18 个州的 20 个不同地点收集的。它主要关注小而密集的建筑增加和建筑拆除。考虑到 GPU 内存有限和模型训练速度等因素,把 1 024 1 024的图像对裁剪为 256 256 的没有重叠图像对。最终,LEVI CD 数据集的训练集、验证集、测试集大小分别为 7 120、1 024、2 048。模型搭建和网络训练都是用 PyTorch 实现的,并使用单个 48GB 内存 NVIDIA TX A6000
18、 GPU进行训练。由于原图像的分辨率太大和显卡内存有限,将所有输入图像对都被裁剪成 256 256 不重叠的补丁。使用随机翻转、随机旋转、随机裁剪762第 3 期刘双泽,等:一种用于遥感图像变化检测的级联跨尺度网络和高斯模糊等数据增强方式来丰富数据集和防止模型过拟合。所使用的优化器为动量随机梯度下降(SGD),并将动量设置为 0 9,权重衰减设置为0 000 5。初始学习率设置为 0 01,batch size 设置为 8,训练总轮数设置为 200。2 2实验结果分析2 2 1对比实验为了评估整体性能,将本文的 CCSNet 与其他先进的方法,例如 FC EF 13、FC Siam Diff
19、13、FC Siam Conc 13、DTCDSCN 14、STANet 12 和BIT 8,在 LEVI CD 数据集上进行了对比实验。实验结果的定性和定量结果见表1 和图3。从表 1 的定量分析表明,根据 F1、IoU 和 OA等指标,CCSNet 的表现优于其他 CD 方法。在LEVI CD 数据集上,CCSNet 在精度、F1、IoU 和OA 四个指标中都达到了最优的结果。与最新的方法 BIT 相比,CCSNet 的 F1 值、IoU 和 OA 分别提高了 0 77%、1 26%、0 09%。图 3 展示了 CCSNet 与其他模型在 LECI CD 数据集上的可视化结果。从图中可以更
20、加直观地比较本文的模型与其他模型的性能。为了更好地分析模型的性能,在生成的变化图中使用白色表示正确预测的变化像素(TP),黑色表示正确预测的不变像素(TN),红色表示错误预测的不变像素(FP),绿色表示真实变化像素的漏检(FN)。从图中可以观察到,CCSNet 在 LEVI CD 数据集上都取得了令人满意的结果。如图 3 的第一行图像所示,它是不同模型在小而稀疏的建筑情况下所得到的结果。从中可以观测到,FC 系列的模型都将游泳池区域错误分类为建筑更改。而 CCSNet 以及 DTCDSCN、STANet和 BIT 都能正确识别。这是因为所提出的跨尺度注意力模块可以很好地整合浅层特征图中与深层特
21、征图一致的区域,并抑制不必要的特征表达和噪声。如图 3 的第二行图像所示,它是比较了在大型建筑的情况。从中可以看出其他模型未能很好地检测出右上角细长的条形建筑物,且主要建筑物的检测结果存在孔洞或边界不完整。尽管STANet 可以检测到它们,但它们要么在其他地方进行错误检测(FP),要么漏检(FN),导致建筑物边界不完整。本文的模型是唯一一个不仅检测出了右上角的长条形建筑物,而且获得了主体建筑物完整边界的模型。从图 3 的第三行图像看出,是模型在小目标变化的情况。其他模型要么未能检测到左下角的建筑物,要么错误地检测到树木的树冠引起的变化。相反,本文的模型成功地避免了这两个问题,这说明本文的模型能
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 用于 遥感 图像 变化 检测 级联 尺度 网络 刘双泽
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。