一种用于遥感图像变化检测的级联跨尺度网络_刘双泽.pdf

在遥感图像变化检测中，由于深度学习模型没能充分利用多尺度特征，忽略不同尺度间的语义差距，从而导致伪变化;其次，由于成像角度不同、大气环境复杂、季节四季交替等因素也会所引起的伪变化问题，提出一种用于遥感图像变化检测的级联跨尺度网络，该网络设计了一种级联连接将浅层和深层特征图一起馈送到解码器中，以消除不同尺度间的语义差距;提出了一种跨尺度注意力模块来融合浅层和深层特征图中与变化信息一致的语义信息，以提高对伪变化的鲁棒性。在公开的变化检测数据集(LE-VI CD)上进行了评估。实验结果表明:所提出的方法在性能上明显优于现有的最先进方法。关键词:变化检测，伪变化，级联跨尺度中图分类号:H313文献标志码:AA Cascade Cross scale Network for emote SensingImage Change DetectionLIU Shuang ze，XUE Ming liang(School of Computer Science and Engineering，Dalian Minzu University，Dalian Liaoning 116650，China)Abstract:In remote sensing image change detection，the deep learning model fails to make fulluse of multi scale features and ignores the semantic gap between different scales，which leadsto pseudo changes Different imaging angles，complex atmospheric environments，seasonal al-ternations and other factors will also cause pseudo changes To solve the pseudo change prob-lem，a cascade cross scale network(CCSNet)for remote sensing image change detection isproposed in this paper We design a cascade structure，which can feed shallow and deep featuremaps together into the decoder to eliminate semantic differences between different scales In ad-dition，a cross scale attention module(CSAM)is proposed to effectively integrate the consist-ent semantic information in both shallow and deep feature maps to enhance the robustness againstpseudo changes The proposed method is evaluated on the public change detection dataset(LE-VI CD)，and the experimental results show that the proposed method significantly outper-forms the existing state of the art methods in performanceKey words:change detection;pseudo change;cascade cross scale变化检测1 作为遥感领域的重要组成部分，是从同一位置不同时刻获取的两幅遥感图像之间，通过一系列的方法提取出自然或人工变化区域的过程。变化检测在众多领域都有着重要的应DOI:10.13744/21-1431/g4.2023.03.011用，例如在城市规划2、土地调查3、灾害评估4 和生态环境监测5 等方面。随着越来越多的高分卫星发射到太空，使得具有更高分辨率的遥感图像获取变得更加容易，因此具有高分辨率遥感图像数据集。在这种情况下，寻求新的方法以解决上述问题受到了越来越多研究者的关注，并取得了许多令人瞩目的成果。由于深度学习模型强大的图像处理能力，许多学者将深度学习方法引入遥感图像变化检测领域。因此，近年来涌现了许多基于深度学习的变化检测方法。Song 等人6 设计了一种结合 3D 全卷积网络和卷积短时长记忆的优点的变化检测方法，名为循环 3D 全卷积网络。Liu 等人7 提出了一个新的损失函数来实现由语义分割数据集到变化检测数据集之间的迁移学习。这种方法可以缓解变化检测数据集中带注释的训练样本不足的问题。Chen 等人8 提出了一种基于 transformer 的变化检测模型，它可以通过对时空域内的上下文进行建模，来关联时空中的远程概念。该方法可以有效避免因物体外观相似而导致的误检测，并能很好地处理因季节差异或土地覆被变化引起的无关变化。然而，目前在处理变化检测中伪变化现象仍存在一些问题。一方面，目前的方法大多没有充分利用不同尺度提取的特征，忽略了不同层特征之间的语义差距，这可能会由于特征的冗余和模糊性而导致伪变化问题。其次，由于成像角度、天气状况、季节变化以及外观非常混乱的物体等原因造成的伪变化仍然难以区分。为此本文设计了一种级联跨尺度网络(Cascaded Cross Scale Network，CCSNet)来提高模型对伪变化的鲁棒性。本文设计了一种级联连接结构来融合不同尺度的特征，缩小了语义差距。本文提出了一种注意力模块，跨尺度注意模块，来提高特征的辨别能力。CCSNet 通过将多尺度特征融合起来，然后使用注意力机制来增强与变化相关语义信息一致的区域，并抑制各种因素引起的虚假变化和噪声，从而达到减少由各种因素而导致的伪变化。1CCSNet 网络算法CCSNet 网络使用的是编码器和解码器结构，整体流程如图 1。在编码阶段，将双时态图像输入到卷积池化层中，对图像进行缩放，减少计算内存。然后输入到 4 层的编码器中进行降采样。通过权值共享的孪生编码器编码，得到 5 个不同阶段的输出特征图。在解码阶段，首先把同一阶段的两个特征图进行差分操作来得到差分特征图。其次把编码器 4 的差值特征图和编码器 3 的差值特征图使用级联连接一起输入到解码器 4 中进行解码，之后重复上一步的操作。经过层层解码，最后把解码器 1 的输出特征图传递给最终块，得到最终的变化检测图。图 1CCSNet 网络整体架构1 1编码器卷积神经网络因其强大的特征提取能力而被广泛应用于遥感图像分析。在编码阶段，使用esNet 34 来构建编码器网络。由于变化检测的输入通常是双时相图像，所以编码器网络采用孪生网络结构。具体来说，编码器网络由两个共享可学习权值的编码分支组成。由于 esNet 最初是为了解决图像分类问题而提出的，其整体结构可以分为一个卷积池化层、四个降采样卷积层和一个全连接层。但是，最终的变化映射必须恢复到与原始图像完全相同的大小。因此，省略了全连接层。1 2解码器在解码阶段，所提出的结构由四个解码器和一个最终块组成，它们对应于四个编码器和卷积池化层。具体来说，四个解码器具有相同的结构，如图 2。该解码器包含一个跨尺度注意模块(Cross Scale Attention Module，CSAM)和两个1 1卷积层。所提出的解码体系结构有不同的实现方式。具体来说，将两个不同尺度的连接特征图使用级联连接输入给一个解码器。例如，将编码器 4(深特征)和编码器 3(浅特征)提取的特征输入到解码器 4 中进行进一步学习。这种方式可以更好地融合浅层特征的空间信息和深度特征的语义信息，以补偿特征编码过程中衰落的几何信息，这是检测变化区域的关键。此外，还可以缩小662大连民族大学学报第 25 卷语义差异，并关注与变化信息相关的特征映射区域。因此，得到的最终特征图可以整合不同尺度的特征。解码阶段的最后一部分是最终块。跨尺度注意力模块的整体结构如图 2。它由一个 4 倍的上采样层和两个 3 3 的卷积层组成。它的功能是最终的变化图恢复到与原图像完全相同的大小。图 2跨尺度注意力模块的整体结构1 3跨尺度注意力模块将不同编码层获得的浅层与深层特征图融合，有助于恢复在级联特征编码过程中逐渐消失的空间信息。然而，由于多尺度特征之间存在语义差距，不适当的融合可能会引入冗余信息或噪声。它可能会导致过度的分割和意外的模糊表示，这可能会分散模型来区分由于成像角度、天气条件、季节变化和外观非常混乱的物体而引起的伪变化。为了缩小多尺度特征之间的语义差异，使模型对伪变化更具鲁棒性，设计了一个级联跨尺度注意力模块(Cross Scale Attention Module，CSAM)如图 3。CSAM 通过通道注意力和空间注意力来融合多尺度特征图。通道注意力可以有效地学习与不同尺度的特征图之间的变化相关的通道，而空间注意力则可以帮助学习已经发生变化的区域。由通道和空间注意力模块学习到的特征图然后被自注意力模块融合，以捕获不同像素之间的依赖关系。CSAM 可以更好地融合浅层和深层特征图与变化信息相关的信息，抑制由各种因素而导致的伪变化信息。通常来说，特征图中的每个通道的重要程度是相同。但是，对于特定任务来说不同通道的重要性是有所不同的，往往需要对每个通道的重要性进行建模来达到增强或抑制一些通道。在本文中，通道注意力模块(Channel Attention Module，CAM)所采用的是 SENet9。它首先使用压缩模块对特征图进行全局信息嵌入，然后使用激励模块进行通道关系加权。在变化检测任务中，通道注意力增强与地面特征变化相关的通道，抑制其他不相关的通道。因此，首先使用通道注意力减少浅层特征图和深层特征图之间的语义差距，增强它们之间与变化相关的语义信息。在计算机视觉任务中，图像像素点的识别需要考虑它所在的空间位置。换句话说，不同的像素位置的重要程度是有所区别的。考虑到遥感图像中像素位置的重要程度不同，所以引入空间注意力模块(Spatial Attention Module，SAM)10。因为变化检测的输入为双时态图像，所以为了确认双时态图像的那些像素位置与变化相关，那些像素位置与变化无关，这是十分有意义的。而空间注意力可以增加变化像素和不变像素之间的距离差，从而选择对变化信息更敏感的像素位置。与通道和空间注意力模块不同，自注意力模块(Self Attention Module，Self AM)旨在捕获特征图任意两个位置之间的空间依赖关系。它通过对特征图之间的任意两点之间的关系进行建模，来选择性地聚合每个位置的特征。为了更好地识别那两个像素之间位置关系对变化信息更重要，采纳 Chen 等人提出的位置注意模块11。2实验为了评估本模型对伪变化的有效性，本文在LEVI CD 数据集进行了对比实验，并使用精度(Precision)、召回率(ecall)、F1 值(F1)、交并比(IoU)和总准确率(OA)作为评估模型的指标。本文将所提出的网络与现有先进的变化检测进行对比实验，并进行了可视化比较，从而进一步验证模型对伪变化的性能。2 1数据集及实验环境LEVI CD12 是一个被广泛使用的建筑物变化检测数据集。总有 637 对分辨率为 0 5 m 遥感图像。其中每张图像的大小为 1 024 1 024 像素。该数据集中的双时间图像是使用谷歌 EarthAPI 在 2002 年至 2018 年期间从美国德克萨斯州18 个州的 20 个不同地点收集的。它主要关注小而密集的建筑增加和建筑拆除。考虑到 GPU 内存有限和模型训练速度等因素，把 1 024 1 024的图像对裁剪为 256 256 的没有重叠图像对。最终，LEVI CD 数据集的训练集、验证集、测试集大小分别为 7 120、1 024、2 048。模型搭建和网络训练都是用 PyTorch 实现的，并使用单个 48GB 内存 NVIDIA TX A6000 GPU进行训练。由于原图像的分辨率太大和显卡内存有限，将所有输入图像对都被裁剪成 256 256 不重叠的补丁。使用随机翻转、随机旋转、随机裁剪762第 3 期刘双泽，等:一种用于遥感图像变化检测的级联跨尺度网络和高斯模糊等数据增强方式来丰富数据集和防止模型过拟合。所使用的优化器为动量随机梯度下降(SGD)，并将动量设置为 0 9，权重衰减设置为0 000 5。初始学习率设置为 0 01，batch size 设置为 8，训练总轮数设置为 200。2 2实验结果分析2 2 1对比实验为了评估整体性能，将本文的 CCSNet 与其他先进的方法，例如 FC EF 13、FC Siam Diff 13、FC Siam Conc 13、DTCDSCN 14、STANet 12 和BIT 8，在 LEVI CD 数据集上进行了对比实验。实验结果的定性和定量结果见表1 和图3。从表 1 的定量分析表明，根据 F1、IoU 和 OA等指标，CCSNet 的表现优于其他 CD 方法。在LEVI CD 数据集上，CCSNet 在精度、F1、IoU 和OA 四个指标中都达到了最优的结果。与最新的方法 BIT 相比，CCSNet 的 F1 值、IoU 和 OA 分别提高了 0 77%、1 26%、0 09%。图 3 展示了 CCSNet 与其他模型在 LECI CD 数据集上的可视化结果。从图中可以更加直观地比较本文的模型与其他模型的性能。为了更好地分析模型的性能，在生成的变化图中使用白色表示正确预测的变化像素(TP)，黑色表示正确预测的不变像素(TN)，红色表示错误预测的不变像素(FP)，绿色表示真实变化像素的漏检(FN)。从图中可以观察到，CCSNet 在 LEVI CD 数据集上都取得了令人满意的结果。如图 3 的第一行图像所示，它是不同模型在小而稀疏的建筑情况下所得到的结果。从中可以观测到，FC 系列的模型都将游泳池区域错误分类为建筑更改。而 CCSNet 以及 DTCDSCN、STANet和 BIT 都能正确识别。这是因为所提出的跨尺度注意力模块可以很好地整合浅层特征图中与深层特征图一致的区域，并抑制不必要的特征表达和噪声。如图 3 的第二行图像所示，它是比较了在大型建筑的情况。从中可以看出其他模型未能很好地检测出右上角细长的条形建筑物，且主要建筑物的检测结果存在孔洞或边界不完整。尽管STANet 可以检测到它们，但它们要么在其他地方进行错误检测(FP)，要么漏检(FN)，导致建筑物边界不完整。本文的模型是唯一一个不仅检测出了右上角的长条形建筑物，而且获得了主体建筑物完整边界的模型。从图 3 的第三行图像看出，是模型在小目标变化的情况。其他模型要么未能检测到左下角的建筑物，要么错误地检测到树木的树冠引起的变化。相反，本文的模型成功地避免了这两个问题，这说明本文的模型能够区分由树木覆盖引起的伪变化。从图 3 的最后一行图像看出，模型在小而密集的建筑群下的检测结果。许多模型在处理密集分布的小型建筑物时都出现了不同程度漏检情况，而本文的模型和 BIT 的检测相对完整。表 1LEVI CD 数据集上的变化检测性能比较%MethodF1IoUOAFC EF8340715398 39FC Siam Diff8476735598 54FC Siam Conc8663764298 68DTCDSCN8826795698 87STANet8726774098 66BIT8931806898 92CCSNet(ours)9008819499 01(a)图像 T1;(b)图像 T2;(c)Ground truth;(d)FC EF;(e)FC Siam Diff;(f)FC Siam Conc;(g)DTCDSCN;(h)STANet;(i)BIT;(j)CCSNet。图 3LEVI CD 数据集上的检测结果可视化862大连民族大学学报第 25 卷2 2 2消融实验为了验证 CSAM 的有效性，在设计的 CSAM中对不同组合结构进行了消融实验，并在 LEVI CD 数据集上进行了对比分析。BASE 模型是CCSNet 的变体，是由一个基于 esNet 的孪生编码器和一个去掉了 CSAM 解码器组成。消融实验在 LEVI CD 数据集上的具体量化结果见表 2。从表中可以清楚地观察到 BASE 模型的测试结果是最低的。这是因为 BASE 模型是最简单的，并且没有包含 CSAM。将 CAM、SAM 或 Self AM分别插入到 BASE 中，可以显著提高检测性能，取得的 F1 值、IoU 和 OA 均表明了这一点。其中，“BASE+CAM”模型在 F1 值、IOU 和 OA 指标上取得了最好的成绩，在 LEVI CD 数据集上分别提升了 7.47%、1.46%和 0.82%。此外，为了进一步验证 CSAM 中所使用结构的有效性，还对任意两个注意力模块的组合情况进行了实验。从表2 可以看出，“BASE+CAM+Self AM”组合的性能最好，其中 F1 值、IOU 和 OA 分别达到89.83%、81.54%和 98.98%。“BASE+CAM+SAM”的性能次之。通过将 CAM、SAM 和 Self AM 与 BASE 模型集成，得到的 CSAM 模型获得了最好的变化检测结果，在 LEVI CD 数据集上的 F1 值提高了 8.13%，IOU 提高了 12.53%，OA提高了 0.88%。从表 2 的量化结果可以看出，CSAM 中 CAM、SAM 和 Self AM 的每个注意力模块都对变化特征学习有贡献。本文提出的CSAM 通过融合他们来处理不同类型的噪声可能导致的伪变化，进一步提高了检测性能。表 2不同注意力模块组合在 LEVI CD数据集上的消融结果BASECAMSAMSelf AMF1/%IoU/%OA/%81 9569 41981389 4280 87989589 2880 64989489 2780 63989489 6481 23989789 8381 54989889 2780 62989290 0881 9499013结语提出了一个用于高分辨率遥感图像的变化检的级联跨尺度网络。设计了一种级联连接结构，将不同层的浅层和深度特征映射一起输入解码器。此外，将编码器提取的浅层特征图连续输入解码器，以缩小浅层特征和深层特征之间的语义差距。CSAM 使网络能够在通道维度、空间位置和不同像素之间的依赖性三个角度优化浅层特征，从而增强与深层特征映射的一致性语义信息，抑制其他不必要的特征表达和噪声。当在 LEVI CD 数据集上进行评估时，所提出的 CCSNet 优于其他最先进的方法。实验结果表明:所提出的CSAM 可以很好地保持不同尺度下特征映射之间的语义一致性，提高了模型对伪变化的鲁棒性。参考文献:1SINGH A eview Article Digital change detection tech-niques using remotely sensed dataJ InternationalJournal of emote Sensing，1989，10(6):989 1003 2ZHU Z，ZHOU Y，SETO K C，et al Understanding anurbanizing planet:Strategic directions for remote sensing J emote Sensing of Environment，2019，228:164 182 3 ZELINSKI M E，HENDESON J，SMITH M Use ofLandsat 5 for change detection at 1998 Indian and Paki-stani nuclear test sitesJ IEEE Journal of SelectedTopics in Applied Earth Observations and emote Sens-ing，2014，7(8):3453 3460 4SUBLIME J，KALINICHEVA E Automatic post disas-ter damage mapping using deep learning techniques forchange detection:Case study of the Tohoku tsunami J emote Sensing，2019，11(9):1123 5YANG J，WEISBEG P J，BISTOW N A Landsat re-mote sensing approaches for monitoring long term treecover dynamics in semi arid woodlands:Comparison ofvegetation indices and spectral mixture analysis J e-mote Sensing of Environment，2012，119:62 71 6SONG A，CHOI J，HAN Y，et al Change detection inhyperspectral images using recurrent 3D fully convolu-tional networksJ emote Sensing，2018，10(11):1827 7LIU J，CHEN K，XU G，et al Convolutional neural net-work based transfer learning for optical aerial imageschange detectionJ IEEE Geoscience and emoteSensing Letters，2019，17(1):127 131 8CHEN H，QI Z，SHI Z emote Sensing Image ChangeDetection With TransformersJ IEEE Transactions onGeoscience and emote Sensing，2021，60:1 14 9HU J，SHEN L，SUN G Squeeze and excitation net-worksC/Proceedings of the IEEE conference oncomputer vision and pattern recognition Salt Lake City，Utah:IEEE，2018:7132 7141 10WOO S，PAK J，LEE J Y，et al CBAM:Convolu-962第 3 期刘双泽，等:一种用于遥感图像变化检测的级联跨尺度网络tional block attention moduleC/Ferrari V，HebertM，Sminchisescu C，et al Proceedings of the Europeanconference on computer vision(ECCV)Cham:Spring-er，2018:3 19 11CHEN J，YUAN Z，PENG J，et al DASNet:Dual at-tentive fully convolutional Siamese networks for changedetection in high resolution satellite imagesJ IEEEJournal of Selected Topics in Applied Earth Observationsand emote Sensing，2020，14:1194 1206 12 CHEN H，SHI Z A spatial temporal attention based method and a new dataset for remote sensing imagechange detection J emote Sensing，2020，12(10):1662 13DAUDT C，LE SAUX B，BOULCH A Fully convo-lutional siamese networks for change detectionC/2018 25th IEEE International Conference on Image Pro-cessing(ICIP)，Athens，Greece:IEEE，2018:4063 4067 14LIU Y，PANG C，ZHAN Z，et al Building change de-tection for remote sensing images using a dual task con-strained deep siamese convolutional network modelJ IEEE Geoscience and emote Sensing Letters，2020，18(5):811 815(责任编辑王楠楠)(上接第 210 页)21ZHENG G，ZHANG F，ZHENG Z，et al DN:adeep reinforcement learning framework for news recom-mendation C WWW 18:Proceedings of the 2018World Wide Web ConferenceInternational WorldWide Web Conferences Steering Committee，2018:167 176 22ZHOU G，ZHU X，SONG C，et al Deep interest net-work for click through rate prediction C KDD 18:Proceedings of the 24th ACM SIGKDD InternationalConference on Knowledge Discovery Data MiningAssociation for Computing Machinery，2018:1059 1068 23KAIM M，COCHEZ M，JAES J B，et al Drug drug interaction prediction based on knowledge graphembeddings and convolutional LSTM network C BCB 19:Proceedings of the 10th ACM InternationalConference on Bioinformatics，Computational Biologyand Health Informatics Association for Computing Ma-chinery，2019:113 123 24LIN X，QUAN Z，WANG Z J，et al KGNN:Knowl-edge graph neural network for drug drug InteractionPrediction C IJCAI 2020，380:2739 2745 25VU T，NGUYEN T D，NGUYEN D Q，et al A cap-sule network based embedding model for knowledgegraph completion and search personalization C Pro-ceedings of the 2019 Conference of the North AmericanChapter of the Association for Computational Linguis-tics:Human Language TechnologiesAssociation forComputational Linguistics，2019:2180 2189 26LI Y，ZHAO W，CAMBIA E，et al Graph routingbetween capsules J Neural Networks，2021，143(1):345 354 27 HAMILTON W，YING Z，LESKOVEC J Inductiverepresentation learning on large graphs J Advancesin Neural Information Processing Systems，2017，30(3):1024 1034 28 JIN B，YANG H，XIAO C，et al Multitask dyadicprediction and its application in prediction of adversedrug drug interaction C Proceedings of the AAAIConference on Artificial Intelligence Association for theAdvancement of Artificial Intelligence，2017:1367 1373 29CHU X，LIN Y，WANG Y，et al Mlrda:a multi task semi supervised learning framework for drug drug interaction prediction C IJCAI 19:Proceedingsof the 28th International Joint Conference on ArtificialIntelligence AAAI Press，2019:4518 4524 30ZHANG W，CHEN Y，LIU F，et al Predicting poten-tial drug drug interactions by integrating chemical，bi-ological，phenotypic and network data J BMCBioinformatics，2017，18(1):1 12 31 YU J Y，KIM H U，LEE S Y Deep learning im-proves prediction of drug drug and drug food in-teractions J Proceedings of the National Academy ofSciences，2018，115(18):E4304 E4311 32MA T，XIAO C，ZHOU J，et al Drug similarity inte-gration through attentive multi view graph auto en-coders C IJCAI 18:Proceedings of the 27th Interna-tional Joint Conference on Artificial Intelligence AAAIPress，2018:3477 3483(责任编辑冉春秋)072大连民族大学学报第 25 卷