融合Swin-Transformer网络模型的水体高光区域提取.pdf
《融合Swin-Transformer网络模型的水体高光区域提取.pdf》由会员分享,可在线阅读,更多相关《融合Swin-Transformer网络模型的水体高光区域提取.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 卷 第期 年月遥 感 信 息 ,收稿日期:修订日期:基金项目:成都市技术创新研发项目();成都理工大学研究生质量工程项目();地质灾害防治与地质环境保护国家重点实验室项目();四川省科技计划项目();四川省自然资源厅项目()。作者简介:陈毅夫(),男,硕士研究生,主要研究方向为遥感图像识别。犈 犿 犪 犻 犾:通信作者:何敬(),男,博士,副教授,主要研究方向为无人机影像处理、倾斜三维建模及遥感目标自动识别。犈 犿 犪 犻 犾:融合犛 狑 犻 狀 犜 狉 犪 狀 狊 犳 狅 狉 犿 犲 狉网络模型的水体高光区域提取陈毅夫,何敬,刘刚,毛佳琪(成都理工大学 地球科学学院,成都 ;成都理工大学
2、 地质灾害防治与地质环境保护国家重点实验室,成都 )摘要:在强光的照射下,水体的镜面反射往往会对遥感影像产生很大影响,其主要表现就是在图像上产生大小不同、形状各异的亮斑。这些亮斑附近的地物信息基本上都被淹没,对后期的影像分析会造成不同程度的影响,因此对这些亮斑的检测识别就显得尤为重要。文章以 为主要网络,提出一种融合 模块的网络模型。该模型将 网络作为一个模块与卷积骨干网络并行提取特征。提取出的两类特征经上采样后进行特征融合,再经多次卷积等实现了水体亮斑的识别与分割。实验结果表明,该模型能够对不同类型、不同形状的水体亮斑进行识别分割,其平均交并比为 。关键词:水体高光区域提取;特征并行提取;特
3、征融合犱 狅 犻:中图分类号:文献标志码:文章编号:()犉 狌 狊 犻 狅 狀狅 犳犛 狑 犻 狀 犜 狉 犪 狀 狊 犳 狅 狉 犿 犲 狉犖 犲 狋 狑 狅 狉 犽犕 狅 犱 犲 犾 犳 狅 狉犈 狓 狋 狉 犪 犮 狋 犻 狅 狀狅 犳犠 犪 狋 犲 狉犅 狅 犱 狔犎 犻 犵 犺 犾 犻 犵 犺 狋犃 狉 犲 犪 ,(犆 狅 犾 犾 犲 犵 犲 狅 犳犈 犪 狉 狋 犺犛 犮 犻 犲 狀 犮 犲 狊,犆 犺 犲 狀 犵 犱 狌犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犜 犲 犮 犺 狀 狅 犾 狅 犵 狔,犆 犺 犲 狀 犵 犱 狌 ,犆 犺 犻 狀 犪;犛 狋 犪 狋 犲犓 犲 狔
4、犔 犪 犫 狅 狉 犪 狋 狅 狉 狔狅 犳犌 犲 狅 犺 犪 狕 犪 狉 犱犘 狉 犲 狏 犲 狀 狋 犻 狅 狀犪 狀 犱犌 犲 狅 犲 狀 狏 犻 狉 狅 狀 犿 犲 狀 狋犘 狉 狅 狋 犲 犮 狋 犻 狅 狀,犆 犺 犲 狀 犵 犱 狌犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犜 犲 犮 犺 狀 狅 犾 狅 犵 狔,犆 犺 犲 狀 犵 犱 狌 ,犆 犺 犻 狀 犪)犃 犫 狊 狋 狉 犪 犮 狋:,犓 犲 狔 狑 狅 狉 犱 狊:;遥 感 信 息 年期引言地表水体因其自身的物理特性,在一定的太阳高度角下会产生镜面反射。当传感器捕获了这部分镜面反射的能量后,会造成这部分区域的辐射能量
5、异常,在影像上形成白色亮斑,对附近的地物信息造成影响,严重时甚至会淹没周围地物信息。因此,在进行影像处理前通常需要对这些高光区域进行圈定,以便在处理过程中将其排除。目前,最为常用的方法是人工圈定,但这种方法耗时、费力,且所圈范围往往存在较大误差。随着计算机目标识别技术的不断发展,一些研究人员开始尝试用计算机自动识别水体亮斑。闫利等采用一种人 工 阈 值 方 法 提 取 水 体 高 光 区 域,之 后 通 过 算法对高光区域边界位置进行优化,再构建决 策 树 和 提 取 精 化 算 法 完 成 最 终 提 取。等利用截断最小二乘似然的思想,使用阈值法对镜面高光 区 域 进 行 提 取。等将 图
6、像 变 换 到 空间后提出一种自适应阈值方法来判定高光区域。等根据镜面反射色度特性,利用阈值法进行高光区域检测。以上研究方法都是采用不同形式的阈值法对高光区域进行检测提取,不具备语义信息和先验知识,导致人工操作较多,泛化能力较弱。除此之外,使用阈值法会有强约束的前提,即假定镜面反射产生的高光在图像中强度最大,这在自然场景中往往会与其他白色物体发生误识别,导致检测准确率较低。随着深度学习的快速发展,利用深度学习进行地物的识别分类、分割等成为遥感图像识别领域的又一可靠方法。目前使用深度学习识别高光区域较少,付刚构建了全球最大的高光物体数据集,并搭建了具 有上下 文 对 比 特征 的 镜面 高 光
7、检 测 网络,对绝大部分高光区域识别效果较好。但是,该网络不仅要依靠大量的数据集,而且数据集都为室内小规模场景,缺少了水体等自然场景数据,对于高分辨率图像中的小尺度高光区域识别能力还亟待提高。本文所研究的水体高光相比于其他镜面反射产生的高光更加复杂,其原因在于水的物理特性同时拥有横波和纵波,导致高光区域形态呈现“鱼鳞状”和“团状鱼鳞状”,使得水体高光区域检测的难度较大,现有的深度网络模型更易漏提取、误提取。因此,本 文 提 出 了 一 种 融 合 的 网络模型,该模型在提取特征的过程中,并行使用了卷积神经网络和 ,在尽可能不损失图像分辨率的情况下扩大了感受野,输出了更有效、更具泛化性的特征层,
8、根据该特征层可以较高效地完成后续识别分割。研究区概况及数据本文利用大疆 对成都市金堂县赵家镇幸福水库采集了正射和环绕两种照片,图像分辨率均为 像素 像素,整理出 幅影像,其 中 幅 影 像 含 有 高 光 水 体 区 域,利 用 对其进行分割标记,合计分割出 个区域。之后,将影像划分为训练集和验证集,其比例为。本文采集的高光区域的水体如图所示。可以看出,水体高光区域呈现两种形态:大小不一的散点构成的“鱼鳞状”亮斑、光团形的“团状”亮斑。根据进一步分析数据集,“鱼鳞状”亮斑在图中可以单独出现,而“团状”亮斑都会伴随“鱼鳞状”亮斑共同出现。由此带来了两种高光场景,即图()中单独的“鱼鳞状”亮斑场景
9、和图()中“鱼鳞状团状”亮斑共存的高光场景。图水体高光区域示例研究方法 犇 犲 犲 狆 犾 犪 犫 犞 狆 犾 狌 狊网络结构传统图像分割方法主要有阈值、边缘、区域、聚类、图论等,这些方法大多利用图像的表层信息,无法应对丰富语义信息的分割任务。目前基于深度引用格式:陈毅 夫,何 敬,刘 刚,等融 合 网 络 模 型的 水体 高 光 区 域 提 取 遥 感 信 息,():学习的图像分割方法是将图像输入到深度卷积神经网络中得到图像语义信息,以完成目标地物提取。该类方法实现了更加准确、高效的目标物提取分割。在众多深度学习语义分割网络模型中,以 为代表的卷积神经网络分割模型能够实现端到端的特征学习,较
10、大提高了分割的精度。基 于 而 来,相 比 ,主要增加了编码层解码层模块,骨干网络 常 使 用 和 等,即 其 层()。骨干网络的机制主要受深度可分离卷积()的影响,这是一种会将不同通道的特征单独卷积的机制。如图所示,网络会对输入图像进行的卷积,再对每一个通道进行的卷积,最后将特征层堆叠起来输出。图狓 犮 犲 狆 狋 犻 狅 狀网络主要机制 则直接使用了深度可分离卷积并参考 提出了倒残差结构。如图所示,它将模型分为了主干部分以及当步长为时生成的残差边部分,主干部分先后进行升维卷积、深度可分离卷积和降维卷积得到特征层,并做线性映射,残差边部分会与对应的主干部分输出相加。图犕 狅 犫 犻 犾 犲
11、犖 犲 狋 犞 网络主要机制初始图像输入 后,首先会进入 或 骨干网络,并输出两个特征层,一 个 为 高 级 别 特 征 层,另 一 个 为 低 级别 特征层。高级 别 特 征 层 会 经 过 ()模块加强特征提取。如图所示,模块利用一次自卷积、三次不同膨胀系数的膨胀卷积和一次全局平均池化输出个特征层,再进行的卷积调整通道数并整合特征。该过程扩大了感受野,联系了上下文信息,一定程度上取代了池化和上采样,使得在尽量不损失特征图分辨率的情况下得到多尺寸特征,加强了特征提取的效果。图犃 犛 犘 犘模块结构低级别特征层则直接经过自卷积调整通道 数。当 这 些 步 骤 完 成 后,会 将 模块输出的特征
12、层进行上采样使其与低级别特征层 相同,再将二者堆叠得到两个有效特征层,随后对该特征层进行两次伴随标准化、激活函数的卷积,并用自卷积将其通道数调整为分类数,最后经过上采样得到语义分割结果。犛 狑 犻 狀 犜 狉 犪 狀 狊 犳 狅 狉 犿 犲 狉网络结构 是基于 ()改进而 来。提 出 当 引 入 自 然 语 言 处 理 中 的 模块来替代大部分深度卷积层时,同样有较好的特征提取效果。而这一机制的生效主要来自于 的多头自注意力模块(,)。会将给定序列的每一个元素狓犻作为 ,将包含该 在内的所有序列元素作为 和 进行 次自注意力操作,最后提取出狓犻的特征狔犻。特征提取结束后进行拼接输出,总流程如图
13、所示。利用该机制达到了全局建模效果,但是 固定了输入图像下采样率为 倍,使得多头自注意力只能用在一种尺度的特征图,对较高分辨率图像的遥 感 信 息 年期图自注意力计算流程多尺度特征难以有效提取。则一方面借鉴了 的多头自注意力机制,另一方面有效改进 的不足并进一步优化了模型。)使用不同下采样率 划 分输 入图 像。对 于 输 入 的 图 像 会 不 断 改 变 ,先后使用了倍、倍、倍的下采样率,使得整图的窗口划分形式发生改变,在此基础上进行的局部多头自注意力操作会提高多尺度特征的提取能力。)使用特殊掩码的移动窗口多头自注意力模块(,)。为进一步扩大感受野,做到全局建模,在前文的局部多头自注意力操
14、作结束后,特征图会向右下角移动两个 形成第一特征图,即移动窗口()过程。对于第一特征图,为了恢复从前的窗口划分,会首先进行循环移位()形成第二特征图,但这种方式会导致不相干的 划分在一 个 窗 口 中,需 要 对 其 进 行 掩 码 以 防 止 下一步再次使用多 头 自 注 意 力 时 联 系 起 不 相 干 的 。上述操作完成后,第二特征图新形成的窗口里的 已经改变,有了更大的感受野,对这些新形成的窗口进行多头自注意力操作。这一次多头自注意力操作会将较多原本互相孤立的 联系起来,这样既达到了对特征图全局建模的作用,又没有数量过大的自注意力对象,从而整体提高了模型抓取多尺度特征的能力,也减小了
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 Swin Transformer 网络 模型 水体 区域 提取
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。