基于深度学习的遥感图像去模糊研究.pdf

云南民族大学学报（自然科学版），（）：收稿日期：基金项目：国家自然科学基金（）作者简介：张文彪（），男，硕士研究生 主要研究方向为深度学习通信作者：蒋作（），男，博士，副教授 主要研究方向为软件过程与机器学习基于深度学习的遥感图像去模糊研究张文彪，蒋作（云南民族大学 数学与计算机科学学院，云南 昆明 ）摘要：在遥感图像的获取过程中，因多种因素的影响，如卫星的不同拍摄角度、光学传感系统、大气等因素都会引起遥感图像质量发生退化现象 为了获取高质量的遥感图像，需对退化的遥感图像进行图像质量增强 图像质量增强往往要求在恢复图像时，图像的空间细节信息和高级上下文信息保持平衡，二者保持平衡有利于解决图像退化问题 但现有的遥感图像质量增强算法在保留空间细节信息及高级上下文信息时，并不能有效的让二者保持平衡 为了更好的解决遥感图像的退化问题，增强其图像质量，提出多阶段的遥感图像去模糊算法，并通过实验验证算法的有效性关键词：遥感图像；图像去模糊；深度学习中图分类号：文献标志码：文章编号：（）随着遥感卫星的不断增多，获取遥感图像越来越简单 遥感技术也快速的发展，并衍生出很多应用场景，如土地覆盖监测、森林覆盖监测、草地覆盖监测及湿地资源监测 但遥感成像的方式通常为扫描成像，期间会因外界因素导致遥感图像发生退化，如物体运动、大气影响等因素会导致遥感图像出现不同程度的模糊，大大影响了遥感图像的质量，严重时还可能出现难以辨认的情况 如图 所示：模糊遥感图像清晰遥感图像图 模糊与清晰遥感图像对比图为了更好的利用遥感图像的应用价值，对遥感图像进行去模糊是一件十分重要的工作 首先对遥感图像去模糊，从视觉效果上可以获到更清晰的图像，也为后续的一些遥感图像处理工作提供分辨率更高的图像，有助于提高遥感图像处理的效率 遥感图像质量发生退化，主要由几个方面导致，如遥感成像过程中遥感卫星位置的变化、光学传感系统以及大气因素的影响等遥感图像去模糊，是指从退化的模糊图像中重构出清晰图像，图像去模糊是一项基础而又具有挑战性的工作 现阶段，遥感图像去模糊主要有 种方法：一种是基于硬件的方法，主要是对成像系统进行优化，如增大成像系统的成像尺寸或增加像元数，但是基于硬件的方法往往存在一些缺陷，如硬件设备体积过大、成本较高等缺点，使其部署起来具有一定的难度 另一种是图像处理的方法，主要是在早期的经典图像去模糊算法，如维纳滤波算法、滤波算法、总变分算法等基础上衍生出来的传统图像去模糊算法，鉴于经典方法去模糊的缺陷，后来的传统方法在经典方法的基础上充分利用了自然图像的一些先验信息来恢复图像 比如自然图像的稀疏性等，克服了原有方法的缺陷 一般利用自然图像的先验信息主要是通过大量统计图像的某种特点分布，获得自然图像相关的先验信息，并且将其作为正则化项（基于正则化技术）来改进图像的去模糊效果 但是随着深度学习的发展，传统的遥感图像去模糊方法在性能上明显落于深度学习的方法在遥感图像质量增强领域，深度学习是当前比较主流的方法 得益于深度神经网络可以从大量的数据中学习到更好的特征表示，很多领域都取得了显著的进展，如目标检测、图像分类、图像生成等 人们提出基于深度神经网络的方法用于遥感图像去模糊，明显增强的图像的质量 但是由于遥感图像本身的特性，如覆盖面广、信息量大、图像多尺寸等特点，如何利用深度学习的方法增强遥感图像去模糊后的图像质量是一项很有意义的工作 国内外研究现状图像去模糊算法按大类分可分为两类：基于硬件的图像去模糊和基于图像处理算法去模糊 ，但由于基于硬件的图像去模糊算法局限性比较大，现有的主流图像去模糊方法为基于图像处理 ，的方法 相比于基于硬件的遥感图像去模糊方法，基于图像处理的方法具有应用灵活、成本低等优势 图像去模糊的目的是从模糊图像中估计出清晰图像 又根据模糊核是否已知，可分为两类：非盲去模糊和盲去模糊 比较经典的图像去模糊研究方法主要以非盲去模糊为主，但非盲去模糊方法由于没有将更多的图像先验信息用上以及其是在模糊核已知的条件下进行图像恢复 而真实场景下模糊核往往是不可知且多变的，使得非盲去模糊算法的推广性受到限制，但具有一定的研究价值 非盲去模糊算法往往假设模糊核已知，模糊核已知是一个很强的先验条件，在处理真实的图像恢复问题上推广性受到限制 此外，因模糊核一般不可知且多变的情况与真实场景问题更贴切 与非盲去模糊算法相比，盲去模糊的算法更具有实际应用价值 盲去模糊算法 的提出大大降低了图像恢复的先验假设，已成为图像去模糊领域的主流方法传统的图像去模糊算法主要为非盲去模糊算法 非盲去模糊定义为：在模糊核已知的条件下，用退化的图像恢复出清晰图像 如比较经典的算法维纳滤波算法，主要通过对退化的图像进行反卷积操作估计出清晰图像 遥感成像的过程中，因成像系统与目标之前的相对运动、大气湍流的影响，会导致成像系统出来的图像像素点出现不同程度像移，即模糊图 此过程就是图像的退化过程，图像模糊一般可看作清晰图像卷积模糊核得到模糊图像的过程，其退化模型可表示为：，其中，为模糊图像，为待估计的清晰图像，为模糊核，为附带的噪声，为卷积运算符号 遥感图像质量增强的实质就是通过模糊图像估计出模糊核，然后模糊核与模糊图像之前做卷积运算，最后估计出清晰图像，实现去模糊以达到图像质量增强的目的图像盲去模糊具体定义为：在模糊核未知的情况下，通过已知的模糊图像复原出清晰的原始图像 由于图像的模糊核 在真实环境中往往未知，因此图像盲复原方法有着更广泛的应用 但是传统的盲去模糊算法往往具有很强的先验信息或对模糊核做出假设，大大限制了模型的推广性 传统的图像盲去模糊算法主要分两类：基于最大后验概率的方法和基于变分贝叶斯的方法 二者的区别在于，基于最大后验概率的方法一般模型比较简单、高效及灵活等优势 基于变分贝叶斯的方法一般通过将原始图像与模糊核的联合后验概率在图像空间边缘化，然后进行模糊核的边际分布求解，从而进行图像复原 求解边际分布往往因为其计算量大，是一个难优化的过程由于计算设备的不断更新、带标注的大规模及高质量数据集的出现，深度学习在很多领域都取得了显著的成效 在图像去模糊 ，领域，越来越多的研究人员开始将深度学习的方法应用于图像去模糊任务 与传统的图像去模糊方法相比，深度学习的方法可以从大量的数据中学到更好的特征表示 可以更好的对图像进行去模糊任务 传统的盲去模糊算法需要在模糊核未知的假设条件下估计出模糊核，从而进行图像复原 估计模糊核会因为模糊核的估计错误导致图像恢复性能降低，通过利用深度神经网络构建模糊图像与清晰图像之间的特征映射方法 不需要估计模糊核，还可以取得显著的效果 方法在遥感图像质量恢复领域，之前的遥感图像去模糊方法往往忽视掉图像上下文的特征信息，导致图像恢第 期张文彪，蒋作：基于深度学习的遥感图像去模糊研究复过程中图像的信息得不到有效的利用 这一缺陷使得算法的性能以及模型的推广能力受到限制，基于以上问题本文提出在图像恢复时可以利用图像的上下文信息的方法 该方法流程图如图 所示，本文的方法主要由 个阶段组成 前 个阶段主要是基于一个自编码网络，该网络通过大的感受野学习图像之间的上下文信息 有助于去完模糊以后图像还能保存更好的图像信息 最后一个阶段由一个子网络构成，子网络直接作用于原始输入遥感图像，目的是为了让重构的图像保留图像的纹理信息/EE/EEEE77U-netU-netCatCatCC/1ORBnORBFFF图 网络结构图该方法由 个阶段构成：自下而上依次为第一阶段、第二阶段、第三阶段 第一阶段与第二阶段由编码器解码器构成，目的是提取多尺度的特征 通过一个自监督的注意力模块对当前阶段的特征进行细化，将细化的特征传递到下一阶段 进行特征融合，帮助下一阶段更好的进行图像恢复任务 最后一个阶段直接对原始图像提特征以保存更多的图像信息 个阶段之间由一个自注意力模块连接，在原始图像的监督下，自注意力模块将前一阶段的特征图输入到下一阶段 为了将前一阶段的特征图输入到下一个阶段 阶段 使用编码器 解码器提取图像的多尺度特征，然后对阶段 所提取的多尺度特征进行缩放，将缩放后的特征传递给下一阶段，进行特征融合 特征融合有助于保存图像的细节信息 在 个阶段之间加入一个有监督的注意力模块，该模块利用原始图像作为监督信息 整个网络的损失函数如下式所示 （，）（，），（）其中，为整个网络结构的损失函数，主要由通道注意力损失与边缘损失函数相加而得到 为超参数，目的是为了为控制 和 个损失函数的相对重要性，实验中 的取值为 （），槡（）其中，表示的是图像恢复处理中常用的一个损失函数 为一个常量，目的是为了让 趋向稳定 （）（）槡，（）其中，表示图像的边缘损失 为拉普拉斯算子，作用是增强图像中灰度突变的区域，减弱灰度的缓慢变换区域，让重构的图像突出细节信息，使图像变得更清晰 为一常数，实验中取 实验本文选取 遥感数据集作为验证我们方法的数据集 其中 数据集于 年由 计算机视觉实验室发布，该数据集共有 类图像，提取自 系列的大型图像，用于全国各地的城市地区 此公共领域图像的像素分辨率为 英尺 图像像素大云南民族大学学报（自然科学版）第 卷小为 ，总包含 类场景图像，每一类有 张，共 张 训练测试按比例 进行划分评价指标选取峰值信噪比（，）与结构相似性（，）作为评估模型性能的评价指标，其中峰值信噪比是图像恢复中常用的评价指标，主要通过计算对应像素点之间的误差对图像质量进行评价；结构相似性是一种衡量 幅图像相似度的指标，分别从图像的亮度、图像的对比度及图像的结构 个方面度量图像的相似性 计算公式如下 ()()，（）（）（）（）其中，（）表示原图像与处理后的图像之间的均方误差，的单位为 ，峰值信噪比数值越大表示图像失真越少；、表示 张图像，、分别表示 、的平均值，、分别表示 、的方差，表示 和 的协方差 （）、（）是用来维持稳定的常数，表示像素值的动态范围，取值为 ，取值为 结构相似性的取值范围为 ，其数值也是越大越好，数值越大表示处理后的图像与原图像结构越相似关于验证模型的参数设置如下：训练时模型一次输入多少张图像（）、总的迭代次数（）、学习率（）以及优化方法的选取分别为 、及梯度下降作为模型的优化方法 本文方法的实验都是在相同的参数设置下进行的 此外，本文的实验是在 操作系统上完成的，框架选用 提出的深度学习框架 ，对 数据集加运动强度为 的运动模糊为了评估模型的性能，评价指标选取峰值信噪比（）以及结构相似性（）在 数据集上进对比实验 如表 所示，本文方法的 、指标在 数据集上分别达到了 、，明显优于其他方法 由表 可知，本文的方法在遥感图像去模糊上峰值信噪比可以达到 、结构相似性能达到 相比于 ，、分别提升 个点及 个点为了验证文中的方法具有不错的泛化能力，对实验一的 数据集进行加噪，得到带噪声与模糊的数据集 增加去模糊的难度，实验结果如表 所示，因去模糊任务变难，峰值信噪比相比于实验一略低 是因为 数据集有更清晰的纹理信息 而在实验一的基础上加噪以后的数据集纹理信息不明显，导致其效果略差 但与其他的方法相比起来，文中的方法依然在 与 上占有明显优势表 数据集上 与 的对比方法 本文方法 表 数据集上 与 的对比方法 本文方法 由表 可知，选用同时加噪、加模糊的遥感数据作为验证模型的性能 峰值信噪比与结构相似性从数值上明显下降，但是相比于其他方法，本文的方法在 、上可以达到 、与 相比，提升 个点、提升 个点 总结遥感图像具有多尺度、信息量丰富等优势，以至于其在很多场景取得很大的成功 但在获取过程中因诸多因素的影响，导致遥感图像发生退化现象 退化的遥感图像会使其应用受到限制，为了增强遥感图像的质量 本文提出基于深度学习的遥感图像去模糊算法，该算法在遥感图像去模糊中可以让图像空间细节及高级上下文信息保持平衡，并通过实验验证算法的有效性 未来如何在现有算法的基础上，挖掘出更多的图像先验信息，提升算法的性能是本文所关注的点参考文献：，：第 期张文彪，蒋作：基于深度学习的遥感图像去模糊研究 ，（），：，：，（），：，：，：，：，：，：（）：，：，：，：，：，：，：，：，（，）：，：；（责任编辑段鹏）云南民族大学学报（自然科学版）第 卷